Suno最强开源对手来了!ACE Studio和阶跃星辰联合开源了一款音乐模型,20秒即可生成4分钟神曲!

 

在 AI 音乐创作领域,近期一款名为 ACE-Step 的开源音乐生成模型正引起广泛关注。

ACE-Step 是由国际知名音乐创作工具 ACE Studio 与 国内知名大模型 StepFun(阶跃星辰) 联合开发的开源音乐生成基础模型。

其参数量为 3.5B,旨在实现高速、高质量、可控的音乐创作。该模型结合了扩散生成技术、深度压缩自编码器(DCAE)和轻量级 Transformer 架构,支持多语言、多风格的音乐生成。

不仅支持 19 种语言、多风格音乐创作,ACE-Step在A100 GPU上仅需20秒即可生成一首4分钟的完整歌曲,这一速度比传统AI音乐模型快了15倍。

堪称开源界对标 Suno 的重磅 AI 音乐生成大模型之一。

核心功能亮点

  • • 一键生成完整音乐:在 NVIDIA A100 GPU 上,20 秒即可生成一首 4 分钟的完整音乐,速度比传统 LLM 音乐模型快 15 倍。
  • • 多语言支持:支持 19 种语言,包括中文、英文、日语、韩语、俄语、西班牙语等。
  • • 语义精准对齐:利用 REPA 技术(歌词与旋律的语义对齐),使歌词与音乐完美匹配。
  • • 高级控制机制:支持声音克隆、歌词编辑、混音、局部重绘等功能,用户可灵活调整音乐细节。
  • • 多样化输出:支持从歌词直接生成人声样本,提供歌词到人声、文本到采样、说唱生成等功能。
  • • 可视化界面:提供 Hugging Face Space 在线体验和 ComfyUI 插件,方便用户快速上手。

快速上手

ACE-Step 支持本地部署和 ComfyUI 集成,需 Python3.10+ 和 GPU 环境。

ACE-Step 提供有已经部署好的线上 Gradio 界面可以进行体验(地址放文末了)。

如果有条件的小伙伴,本地可部署,具体安装部署步骤如下:

① 克隆项目

git clone https://github.com/ace-step/ACE-Step.git
cd ACE-Step

② 使用Conda创建Python虚拟环境

conda create -n ace_step python=3.10 -y
conda activate ace_step

③ 安装依赖项

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126
pip install -e .

然后就可以通过以下命令启动端口服务,从而打开 GUI 界面。

acestep --port 7865

命令行参数(选取几个重要的):

  • • –checkpoint_path: 模型检查点路径(默认:自动下载)
  • • –server_name:Gradio服务器绑定的IP地址或主机名(默认值:’127.0.0.1’)
  • • –port:运行Gradio服务器的端口(默认:7865)
  • • –device_id: 要使用的 GPU 设备 ID(默认:0)

应用场景举例

  • • 音乐创作者:快速 Demo 创作、歌词灵感延伸、跨风格编曲
  • • 短视频博主:生成原创 BGM、配音配乐快速匹配
  • • 教育场景:音乐教学内容自动生成、歌词与节奏对齐演示
  • • AI 产品开发者:快速构建 AI 音乐生成 SaaS 服务或插件系统

写在最后

ACE-Step 号称是音乐领域的“Stable Diffusion”,它结合扩散模型(diffusion)、Sana的深度压缩自编码器(DCAE)和轻量级线性Transformer,通过REPA技术(MERT和m-hubert语义对齐)实现快速、高连贯性音乐生成。

仅需20秒即可合成4分钟音乐,比传统LLM模型快15倍,支持19种语言和多种风格,具备声音克隆、歌词编辑等高级控制功能。

适用于从个人创作到专业制作的场景,想快速创作专业级歌曲?ACE-Step值得一试!

GitHub 项目地址:https://github.com/ace-step/ACE-Step

在线Demo:https://huggingface.co/spaces/ACE-Step/ACE-Step

 

● 一款改变你视频下载体验的神器:MediaGo

● 新一代开源语音库CoQui TTS冲到了GitHub 20.5k Star

● 最新最全 VSCODE 插件推荐(2023版)

● Star 50.3k!超棒的国产远程桌面开源应用火了!

● 超牛的AI物理引擎项目,刚开源不到一天,就飙升到超9K Star!突破物理仿真极限!








(文:开源星探)

发表评论

×

下载每时AI手机APP

 

和大家一起交流AI最新资讯!

立即前往