ACE-Step1.5由ACEStudio与StepFun联合开源的音乐生成模型

作者:互联网

2026-03-24

⼤语⾔模型脚本

ACE-Step 1.5作为开源音乐生成领域的突破性成果,凭借创新架构和高效推理技术,为创作者带来前所未有的音乐制作体验。这款模型在消费级硬件上即可实现专业级音频生成效果。

ACE-Step 1.5的主要功能

  1. 音乐生成:能够根据文本提示创作完整歌曲,支持50多种语言的歌词演唱,可自由调整时长从10秒短曲到10分钟长篇作品。
  2. 编辑功能:具备音频重绘、翻唱生成、人声转伴奏等六大编辑能力,可对已有音频进行深度再创作。
  3. 风格控制:能准确理解专业音乐术语提示,实现零样本音色克隆和严格的风格匹配。
  4. 个性化:仅需少量参考歌曲就能训练LoRA模型,快速掌握用户独特风格。
  5. 效率特性:在4GB显存以下的消费级GPU上即可运行,实现秒级高速生成。

ACE-Step 1.5的技术原理

  1. 混合推理-扩散架构:采用语言模型和Diffusion Transformer协作的架构,前者负责规划歌曲蓝图,后者专注声学渲染,实现50多种语言的稳健对齐。
  2. 高效推理优化:运用对抗动态偏移蒸馏技术,将推理步数压缩至4-8步,在A100上生成240秒音轨仅需1秒。
  3. 内在强化学习对齐:建立统一强化学习框架,通过注意力对齐分数等创新方法优化歌词-音频同步效果。
  4. 统一掩码生成框架:采用有限标量量化技术,使单一模型支持六种创作模态,确保旋律和节奏元素的高保真保持。

ACE-Step 1.5的项目地址

  1. 项目官网:https://ace-step.github.io/ace-step-v1.5.github.io/
  2. GitHub仓库:https://github.com/ace-step/ACE-Step-1.5
  3. arXiv技术论文:https://arxiv.org/pdf/2602.00744
  4. 在线体验Demo:https://huggingface.co/spaces/ACE-Step/Ace-Step-v1.5

ACE-Step 1.5的应用场景

  1. 音乐创作与制作:帮助音乐人快速将创意转化为完整作品,突破创作瓶颈。
  2. 个性化内容创作:为视频、游戏等项目提供定制化背景音乐。
  3. 多语言音乐生产:支持全球化音乐发行和小语种市场内容创作。
  4. 教育与学习:通过可视化生成结果辅助音乐理论学习。

ACE-Step 1.5以其创新技术和强大功能,正在重新定义音乐创作的边界,为专业创作者和爱好者都带来了革命性的创作工具。

相关标签:

可灵AI