鹤啸九天 自律更自由,平凡不平庸 Less is More

音频生成专题 - Music Generation

2024-03-26
阅读量499

Notes(温馨提示):

  1. ★ 首次阅读建议浏览:导航指南, 或划到本页末尾, 或直接点击跳转, 查看全站导航图
  2. 右上角工具条搜索文章,右下角二维码关注微信公众号(鹤啸九天),底栏分享、赞赏、评论
  3. ★ 转载请注明文章来源,知识点积累起来不容易,水滴石穿,绳锯木断,谢谢理解
  4. ★ 如有疑问,邮件讨论,欢迎贡献优质资料


音频生成

音乐知识

更多音乐知识见站内专题

曲风

到底什么是「古典(Classical)」风格?什么是「乡村(Country)」风格?

许多网站提供各种音乐风格和流派的信息,比如:SpotifyApple Music等,或者音乐百科类网站。

  • 以Spotify举例,可以直接在主页上面浏览各种风格。

音乐生成技术

音乐生成技术、工具

总结

知乎专题

  • 【2024-4-11】udio
  • 【2024-4-17】天工 SkyMusic
    • 2024年4月2日开启免费邀测,4月 17日正式开启公测
  • 【2024-6-1】海绵音乐, 北京颜选科技(字节跳动),一键创作你的 AI 音乐
    • 2024年6月内测,8月正式上线免费使用
  • 【2024-7-10】天谱乐: 不仅支持文生音乐音频生音乐,还首创图片/视频生音乐功能,多模态输入能力超越 Suno

Text2Audio

Text-to-Audio : AudioLM、Whisper、Jukebox

  • AudioLM由谷歌开发,将输入音频映射到一系列离散标记中,并将音频生成转换成语言建模任务,学会基于提示词产生自然连贯的音色。在人类评估中,认为它是人类语音的占51.2%、与合成语音比率接近,说明合成效果接近真人。
  • Jukebox由OpenAI开发的音乐模型,可生成带有唱词的音乐。通过分层VQ-VAE体系将音频压缩到离散空间中,损失函数被设计为保留最大量信息,用于解决AI难以学习音频中的高级特征的问题。不过目前模型仍然局限于英语。
  • Whisper由OpenAI开发,实现了多语言语音识别、翻译和语言识别,目前模型已经开源并可以用pip安装。模型基于68万小时标记音频数据训练,包括录音、扬声器、语音音频等,确保由人而非AI生成。

音乐生成上比较出名的:

  • DeepMusic
  • WaveNet
  • Deep Voice
  • Music AtuoBot

MusicLM

【2023-5-15】文本创建音乐

体验地址:MusicLM

MusicGen

【2023-6-12】Meta开源文本生成音乐大模型,我们用《七里香》歌词试了下

  • Meta 也推出了自己的文本音乐生成模型 MusicGen ,并且非商业用途免费使用。
  • 论文地址
  • 试玩地址

输入: 周杰伦《七里香》歌词中的前两句

「窗外的麻雀在电线杆上多嘴,你说这一句 很有夏天的感觉」

文本到音乐是指在给定文本描述的情况下生成音乐作品的任务,例如「90 年代吉他即兴摇滚歌曲」。作为一项具有挑战性的任务,生成音乐要对长序列进行建模。与语音不同,音乐需要使用全频谱,这意味着以更高的速率对信号进行采样,即音乐录音的标准采样率为 44.1 kHz 或 48 kHz,而语音的采样率为 16 kHz。

此外,音乐包含不同乐器的和声和旋律,这使音乐有着复杂的结构。但由于人类听众对不和谐十分敏感,因此对生成音乐的旋律不会有太大容错率。当然,以多种方法控制生成过程的能力对音乐创作者来说是必不可少的,如键、乐器、旋律、流派等。

最近自监督音频表示学习、序列建模和音频合成方面的进展,为开发此类模型提供了条件。为了使音频建模更加容易,最近的研究提出将音频信号表示为「表示同一信号」的离散 token 流。这使得高质量的音频生成和有效的音频建模成为可能。然而这需要联合建模几个并行的依赖流。

  • Kharitonov 等人 [2022]、Kreuk 等人 [2022] 提出采用延迟方法并行建模语音 token 的多流,即在不同流之间引入偏移量。
  • Agostinelli 等人 [2023] 提出使用不同粒度的多个离散标记序列来表示音乐片段,并使用自回归模型的层次结构对其进行建模。
  • 同时,Donahue 等人 [2023] 采用了类似的方法,但针对的是演唱到伴奏生成的任务。最近,Wang 等人 [2023] 提出分两个阶段解决这个问题:限制对第一个 token 流建模。然后应用 post-network 以非自回归的方式联合建模其余的流。

本文 Meta AI 的研究者提出了 MUSICGEN,这是一种简单、可控的音乐生成模型,能在给定文本描述的情况下生成高质量的音乐。

MUSICGEN 包含一个基于自回归 transformer 的解码器,并以文本或旋律表示为条件。该(语言)模型基于 EnCodec 音频 tokenizer 的量化单元,它从低帧离散表示中提供高保真重建效果。此外部署残差向量量化(RVQ)的压缩模型会产生多个并行流。在此设置下,每个流都由来自不同学得码本的离散 token 组成。

以往的工作提出了一些建模策略来解决这一问题。研究者提出了一种新颖的建模框架,它可以泛化到各种码本交错模式。该框架还有几种变体。基于模式,他们可以充分利用量化音频 token 的内部结构。最后 MUSICGEN 支持基于文本或旋律的条件生成。

XTTS

【2023-9-15】Coqui AI 开源了他们的文生音基座模型:XTTS (🐸TTS)

  • 只需三秒即可进行声音复刻
  • 无需微调即可支持13种语言,包括中文
  • 24khz 的声音质量

受控生成

Sketch2Sound

【2024-12-11】音频版ControlNet来了!声音模仿新方法Sketch2Sound

Adobe 和 Northwestern University提出了一种生成音频的模型Sketch2Sound,能够根据一系列易于理解的、随时间变化的控制信号(如音量、亮度、音高)以及文本提示,生成高质量的声音。

Sketch2Sound 可以从模仿的声音(比如人声模仿或参考声音形状)中合成任意声音。

  • 基于任何文本到音频的潜在扩散变换器(DiT)进行实现,并且只需要40k步的微调和每个控制信号一个简单的线性层,这使得它比现有的像ControlNet这样的模型更轻量。(链接在文章底部)

为了从类似草图的声音模仿中合成声音,Sketch2Sound 在训练过程中对控制信号应用随机中值滤波,这使得Sketch2Sound 可以使用灵活时间精度的控制信号进行提示。

Sketch2Sound 使得声音艺术家可以利用文本提示的语义灵活性,并结合声音手势或人声模仿的表现力和精确性来创作声音。

技术原理

Sketch2Sound 把声音模仿转换为生成新声音。

  • 从用户输入的模仿声音中提取三个关键控制信号:响度(音量大小)、频谱质心(简单来说就是声音的“亮度”)和音高概率(声音的高低变化)。
  • 这些信号会被编码后,加入到用来生成声音的核心模型中,一个基于 DiT(扩散模型)的文本到声音生成系统。

这样,系统就能根据模仿的声音特点,生成出具有相似风格的新声音。

生成声音时,使用较大的中值滤波器会让效果更像“草图”,声音质量也可能更高;而较小的滤波器会让生成的声音更精确,但如果模仿声音本身不够准确,可能会导致音质下降。

这给声音艺术家提供了一个选择,可以在“草图感”和“精确度”之间找到适合自己的平衡点。

音乐提示词

提示词结构

参考:

提示词参考

好的谱曲提示词包含以下要素,可以酌情增减,仅供参考

风格 + 情感 + 乐器 + 节奏 + 人声

说明

  • 1、风格:流行(Pop),古典(Classical),爵士(Jazz),电子(Electronic),摇滚(Rock),乡村(Country),民谣(Folk),嘻哈(Hip-hop),布鲁斯(Blues),拉丁(Latin)
  • 2、情感:欢快(Cheerful),悲伤(Sad),浪漫(Romantic),激昂(Passionate),温柔(Gentle),忧郁(Melancholic),神秘(Mysterious),紧张(Tense),恐怖(Horrifying),宁静(Peaceful)
  • 3、乐器:钢琴(Piano),吉他(Guitar),小提琴(Violin),鼓(Drum),贝斯(Bass),长笛(Flute),萨克斯(Saxophone),小号(Trumpet),大提琴(Cello),口琴(Harmonica)
  • 4、节奏:快速(Fast),慢速(Slow),中等(Medium),渐快(Accelerating),渐慢(Decelerating),自由(Free),稳定(Steady),跳跃(Jumpy),拖延(Dragging),犹豫(Hesitant)
  • 5、人声:男声(Male vocals),女声(Female vocals),童声(Children’s vocals),合唱(Choir)
    • 纯音乐时,此项可省略

提示词实例

  • 1、创作一首欢快的流行电子舞曲
    • 提示词:upbeat, pop, electronic, dance, synthesizer, fast
  • 2、创作一首浪漫的古典钢琴曲
    • 提示词:romantic, classical, piano, tender, slow
  • 3、创作一首悲伤的爵士萨克斯风曲
    • 提示词:melancholic, jazz, saxophone, sentimental, improvisation, medium
  • 4、创作一首激昂的摇滚吉他曲
    • 提示词:passionate, rock, electric guitar, powerful, fast
  • 5、创作一首温馨的民谣木吉他曲
    • 提示词:warm, folk, acoustic guitar, fingerstyle, gentle

Suno AI

【2024-3-22】Suno AI发布了V3版音乐生成模型

用户只需要提供音乐生成指令,v3版模型就能在几秒-几分钟内,生成一首时长两分钟的高质量音乐片段。

免费使用

目前,免费注册

  • 新用户每天有50块的免费额度,每天可以创建10首歌曲(5 * 2)
  • 付费用户权限依次提升

参考

Suno AI 功能

特点

  • 用户只用几个简短的词语就可以用任何语言创作歌曲
  • Suno v3 新增更丰富的音乐风格和流派选项,比如古典音乐、爵士乐、Hiphop、电子等新潮曲风

相比与之前版本

  • v3音乐质量更高,而且支持各种风格和流派的音乐和歌曲。
  • 提示词连贯性大幅提升,歌曲结尾的质量也获得了极大提高。
  • AI音乐水印系统:每段由平台生成的音乐都添加了人声无法识别的水印,从而在未来能够保护用户在Suno的创作,打击抄袭,防止将Suno产生的音乐进行滥用。

功能

  • 1、Suno AI内置翻译器,可直接输入中文提示词,后台自动转换为英文。也可以将中文提示词翻译成英文,再输入到Suno AI。
  • 2、「Instrumental」是 纯BGM,不含人声,关闭则带人声
    • Song Description」处输入提示词,点击「Create」按钮即可创作。
  • 3、选中「Custom Mode」,可输入歌词填曲。
    • 只需要在「Lyrics」处填入歌词(可以直接输入中文歌词),「Style of Music」处写入歌曲的风格提示词,Suno AI 就能生成指定风格歌曲。
    • 对于给定歌词,段落前加[Verse](主歌)、[Rap](说唱)、[Chorus](副歌)等来告诉AI这段歌词应该怎么唱。
  • 歌曲延时:点击已经生成音乐项的「...」按钮,选择「Continue From This Song」可歌曲延长。

歌词结构

通过下面这些标记指示歌曲不同部分,帮助AI理解歌曲的结构和情感表达。 1、歌曲结构标记:

  • [Verse] - 主歌,主歌是歌曲的核心部分,通常包含歌曲的主要歌词和旋律。
  • [Chorus] - 副歌,副歌部分,通常旋律更加朗朗上口,歌词重复度高。
  • [Pre-Chorus] - 前副歌,通常用于过渡,为副歌做铺垫。
  • [Bridge] - 桥段,通常在副歌之后,旋律和歌词风格与主歌和副歌不同,起到调剂作用。
  • [Intro] - 前奏,通常是纯音乐或者少量歌词。
  • [Outro] - 尾奏,通常是音乐渐弱或者重复某些歌词。
  • [Interlude] - 间奏,通常是纯音乐部分,用于连接不同的歌曲部分。 2、歌词演唱风格标记:
  • [Rap] - 说唱
  • [Ad-lib] - 即兴演唱
  • [Harmony] - 和声,通常由多个声部组成,与主旋律形成和谐的音乐效果。
  • [Whisper] - 耳语,耳语般的演唱

案例

如梦令,音乐片段如下

视频配曲

直接使用 OpenAI Sora 视频生成提示词

A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage.

1分钟后,生成音乐:歌词 + 音乐

歌词部分

Neon Glow
electronic pop
v3
March 26, 2024
Pause
[Verse]
She's a vision, beauty in motion
Walking down the street, pure devotion (yeah)
Stylish as ever, the center of attention
Tokyo nights, never-ending fascination (oh-oh)

[Verse 2]
In the glow of neon lights
She shines like a star in the city's sky
With every step she takes, the world comes alive
Can't help but be mesmerized (ooh-yeah)

[Chorus]
Tokyo nights, neon glow
Every corner, every street, a colorful show
In this cityscape, she stands tall
A stylish woman that captures it all (captures it all)
# ------------翻译-----------
Neon Glow
电子流行
v3
2024年3月26日
[诗歌]
她是一个视觉,动感美丽
走在街上,纯粹的奉献(是的)
时尚如常,成为众人关注的焦点
东京之夜,永无止境的迷恋(哦-哦)
[诗歌2]
在霓虹灯的照耀下
她如同城市天空中的一颗星星闪耀
每迈出一步,世界都变得生动起来
禁不住被迷住(哦-是的)
[合唱]
东京之夜,霓虹闪耀
每个角落,每条街道,一场色彩斑斓的表演
在这座城市景观中,她屹立不倒
一个捕捉一切的时尚女性(捕捉一切)

音乐追加到 sora 视频上

个人vlog生成背景音乐

个人vlog通常记录日常生活、旅行见闻、兴趣爱好等内容,音乐风格上以轻快、明朗为主。

选择一些流行音乐元素,同时加入一些吉他、钢琴等乐器,营造出一种温馨、惬意的氛围。

提示词:

  • pop music(流行音乐)、light(轻快)、guitar(吉他)、piano(钢琴)

婚礼视频制作浪漫背景音乐

婚礼是人生中的一个重要时刻。

音乐选择上,用一些柔和、浪漫的元素,例如弦乐、钢琴等,同时加入一些爱情、甜蜜的关键词,营造出梦幻、温馨的氛围。

提示词:

  • romantic(浪漫)、love(爱情)、sweet(甜蜜)、strings(弦乐)、piano(钢琴)

游戏视频生成背景音乐

游戏直播通常需要一些激昂、刺激的背景音乐来渲染气氛,同时又不能过于喧闹,影响主播的解说和游戏音效。我们可以选择一些电子音乐元素,同时加入一些鼓点、合成器等元素,营造出紧张、刺激的氛围。

提示词:

  • electronic music(电子音乐)、exciting(刺激的)、drums(鼓点)、synthesizer(合成器)

自然风光类视频生成背景音乐

自然风光类视频通常展示了大自然的美景,为了突出自然的宁静、祥和,选择一些轻柔、舒缓的音乐元素,如长笛、竖琴等,同时加入一些自然、宁静的关键词,营造出一种与自然和谐相处的氛围。

提示词:

  • soft(轻柔)、peaceful(宁静)、nature(自然)、flute(长笛)、harp(竖琴)

美食类视频生成背景音乐

为了突出食物的诱人和美味,选择一些轻快、愉悦的音乐元素,如口哨、手鼓等,同时加入一些快乐的关键词,营造出一种欢乐、享受的氛围。

提示词:

  • light(轻快)、happy(愉悦)、whistle(口哨)、bongos(手鼓)

尚雯婕

尚雯婕演示用ai创作音乐

【2024-11-1】2024 bilibili超级科学晚全程回顾

【2024-4-11】Udio

【2024-4-11】全新的音乐生成应用Udio正式亮相,比suno有质的提升,效果直逼人类

  • 体验地址:udio
  • Udio目前处于公测阶段,用户可免费体验,每月可生成1200首作品。

全新的音乐生成应用 Udio正式亮相。Udio专注于以文字驱动的音乐生成和分享,为用户带来革命性的音乐创作体验

  • Udio采用先进的AI技术, 通过简单的文字输入, 生成各类风格的原创音乐作品。从抒情的福音音乐,到沧桑的蓝调,再到梦幻的流行电音,应有尽有。
  • Udio还支持多种语言,用户可以创作出日语流行、俄罗斯梦幻流行、拉丁节奏等多元化的音乐作品

Udio 特点

Udio 特点

  • 生成的效果比前段时间大火的音乐生成应用suno 有了质的提升,大家感受一下
  • 另一大特色是可扩展性。
    • 用户不仅可以指定音乐的引子和尾声,还能以此为基础, 向前向后延伸,生成更长的音乐作品。
    • 完成创作后,只需点击”发布”,作品就能与Udio社区的其他创作者们分享交流

Udio 创始团队出身于谷歌DeepMind等顶尖AI研究机构,在音乐和技术领域均有深厚积淀。

  • 目标是让Udio成为一款真正改变游戏规则的音乐创作工具,不仅面向专业音乐人,也希望让广大非音乐人也能轻松参与到音乐创作中来

虽然还存在一些粗糙的地方,但团队正在快速迭代优化,计划陆续推出更长音频、更高音质,以及更强大的可控性等新功能

效果测试

直接使用 OpenAI Sora 视频生成提示词

A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage.

生成两个示例

点评

没有歌词、专辑画面,音乐质量也不如 Suno AI

【2024-4-2】SkyMusic

【2024-4-17】首个国产音乐SOTA模型来了!专为中文优化,免费用,不限曲风

问题

  • Suno 有时生成中文不太稳定,会出现中文歌曲带有英文感、生僻字唱错等问题。

有没有一个 AI 音乐生成模型专门针对中文做过优化?

天工 SkyMusic

昆仑万维:天工 SkyMusic

  • SkyMusic 于 2024 年 4 月 2 日开启免费邀测,4 月 17 日正式开启公测

昆仑万维打造的国内首款、也是唯一公开可用的AI音乐生成大模型「天工SkyMusic」,采用自研的大模型音乐音频生成技术,能够实现端到端的音乐创作,包括乐器、人声、旋律等元素的一体化生成。该模型在音质、人声自然度等方面声称超越了国际竞争对手SuoV3,是全球领先的AI音乐生成模型。

天工SkyMusic:还支持参考音乐生成和方言歌曲创作,大幅降低了音乐创作门槛,让不具备专业乐理知识的用户也能轻松创作音乐,同时促进了方言文化的传播。

昆仑万维重磅宣布,「天工 3.0」基座大模型与「天工 SkyMusic」音乐大模型正式开启公测。

生成的中文人声发音清晰、正宗、无异响,没有出现「百老汇式中文歌」等水土不服的情况。而且,它不仅针对普通话做了优化,粤语、成都话、北京话等方言语种也照顾到了。

天工 SkyMusic 全面开放,下载「天工」APP 就可以体验。

  • 国内目前唯一公开可用的 AI 音乐生成大模型,填补了国内 AIGC 工具在这一领域的空白。

模型

天工 SkyMusic 的框架是类 Sora 的 DiT 技术路径,不过研发时间是在 Sora 问世之前,因此不可避免地要踩很多坑。

天工 SkyMusic 技术原理图:

  • Large-scale Transformer 负责谱曲来学习 Music Patches 的上下文依赖关系,同时完成音乐可控性;
  • Diffusion Transformer 负责演唱,通过 LDM 让 Music Patches 被还原成高质量音频。

这套模型架构在处理视频、音频和音乐时效果极佳。

使用方法

天工 SkyMusic 生成歌曲:

  • 只需要输入歌名、歌词,选择参考曲目,就能生成风格、唱腔与之类似的歌。
  • 输入框右下角的「AI 写词」功能。从第一句开始写,每次只生成一句,不满意的句子可以及时删掉,直至整首歌创作完成。
  • 「天工 3.0」来写歌,比如《机器之心》就是用「天工 3.0」写出来的
  • 按照示例音源生成音乐

天工 SkyMusic 生成的音乐涵盖了说唱、民谣、放克、古风、电子等多种曲风。下一步还计划让用户根据哼出来的旋律生成歌曲,这将对专业人士有很大帮助。

效果

和 Suno 比,天工 SkyMusic 表现如何呢?

横向测评的数据显示,在人声和 BGM 音质、人声自然度、发音可懂度等几个指标上,天工 SkyMusic 都更胜一筹,综合性能超越 Suno V3,成为中国首个音乐 AIGC 的 SOTA 模型,也让中国的自研大模型技术第一次在 AIGC 领域领跑全球。

「天工 3.0」模型拥有 4000 亿参数,超越了 3140 亿参数的 Grok-1,是全球最大的开源 MoE 大模型。

  • MMBench 等多项权威多模态测评结果中,「天工 3.0」超越 GPT-4V,全球领先

【2024-6-1】字节 海绵音乐

海绵音乐于 2024 年 6 月开始内测,8 月正式上线免费使用。

海绵音乐 App(字节旗下 AI 音乐创作工具),向所有用户开放。用户只需输入简单的提示词,就能得到包含歌词、曲谱和演唱的完整歌曲作品,还内置十多种风格和情绪选项。相比 Suno,海绵音乐在人声清晰度、中文发音等方面进行了优化,更能驾驭国风类音乐。目前支持文本、图片生曲,但不包括视频输入。3.昆仑万维:天工 SkyMusic官网:这首歌居然是AI写的!

【2024-7-10】天谱乐

【2024-7-10】 广州 天谱乐大模型不仅支持文生音乐音频生音乐,还首创图片/视频生音乐功能,多模态输入能力超越 Suno

用户仅需上传相册中的一张图片或一段不超过60秒的视频,即可生成与图像内容和基调高度适配的带人声唱词的完整歌曲,生成效果达到专业级水准,极大地满足用户多样化的视听创作需求。

【2024-9-18】Seed-Music

【2024-9-18】Seed-Music 音乐大模型正式发布!生成编辑两开花,十种创作任务,满足多样化需求

介绍

【2024-9-18】字节跳动豆包大模型团队推出了 Seed-Music,助力音乐创作领域探索更多可能性。

Seed-Music 是一个具备灵活控制能力的音乐生成模型家族。巧妙地将语言模型扩散模型的优势相结合,并融入作曲工作流之中,适用于小白、专业人士的不同音乐创作场景。

Seed-Music 是一个端到端且能力全面的音乐生成框架。它既能从自然语言和音频中汲取灵感,又能灵活控制各种音乐属性,还能与音乐人的工作流无缝集成,生成旋律丰富、质量上乘的音乐作品,为不同人群赋予了创作自由。

功能

Seed-Music 提供

  • 四大核心功能:可控音乐生成、谱转曲词曲编辑零样本人声克隆
    • (1) Lyrics2Song 可控音乐生成: Lyrics2Song 功能包含“1 分钟片段生成”、“3 分钟全曲生成”、“歌曲仿写”以及“纯器乐生成”这四种音乐生成任务。
      • 只要输入一些简单的文本指令,如音乐风格、歌词、情绪、节奏等,Seed-Music 就能快速生成一段与之相符的 AI 音乐。除了文本提示外,Seed-Music 还能基于参考音频进行歌曲仿写
    • (2) Lyrics2Leadsheet2Song 谱转曲
      • lead sheet 即“领谱”,通常包括歌曲的主旋律、歌词以及和弦标记等信息,它就像是一张音乐地图或指南,用于指导演奏者或歌手进行表演。
      • Seed-Music 将领谱集成到 AI 辅助创作的工作流程中,增强了音乐创作的可解释性和可控性,旨在帮助专业音乐人提升效率,专注于音乐的创意表达。
    • (3) Music Editing 词曲编辑
      • 基于扩散模型实现的 Music Editing 能够精确对歌词或旋律进行局部改编,并确保编辑区域的平滑过渡。
      • 比如,在一首歌曲中,创作者想要把某句歌词从“一捧黄河水”改成“一捧长江水”,同时希望保持旋律和伴奏的连贯性,Music Editing 就可以轻松做到,而且效果自然。
    • (4) Singing Voice Conversion 零样本人声克隆
      • 零样本人声克隆也是 Seed-Music 的一大创新,模型无需针对特定音色进行大规模训练。创作者只需要使用自己 10 秒的语音(支持清唱或者说话)作为输入,系统便可模仿指定音色生成完整的歌曲。
  • 具体涵盖十种创作任务,满足音乐小白、专业音乐人的不同场景需求。

技术方案

Seed-Music 采用独特的技术方案,提出了音乐生成的通用架构。

为了支持灵活的控制输入,能够根据不同类型的用户输入生成高质量的音乐,该架构宏观上由三个核心组件组成:表征模型、生成器和渲染器。其中,表征模型负责从原始音频波形中提取有意义且紧凑的音乐音频表征;生成器根据用户输入生成音频表征;最后,渲染器负责把音频表征生成最终音频。

该架构下,Seed-Music 探索了三种中间表征:音频 token、符号音乐 token 和声码器 latent,每种表征对应着一种生成链路。每种链路都有其优缺点,可以根据下游音乐创作任务匹配最合适的链路。

视频生音频

视频生音频方面,主流方法

  • 仅在语音-视频数据上从头开始训练
    • 受限于可用训练数据的数量,比如 最常用的数据集VGGSound只包含大约550小时的视频。
  • 预训练文本生音频模型上训练新的“控制模块”。
    • 预训练的文本到音频模型上添加控制模块会使网络架构复杂化,而且生成效果的上限可能低于从头开始训练。

天谱乐

MMAudio

【2024-12-19】 MMAudio:AI生成的视频终于有了声音

Sony AI 研究团队发布MMAudio模型,给视频合成高质量音频的。

MMAudio 可以在给定视频和可选文本条件下合成高质量且同步的音频。

  • 最小的MMAudio模型参数量只有157M,不仅在视频生音频的开源模型中实现了SOTA,而且推理速度很快,生成8秒片段仅需1.23秒。

目前MMAudio的代码和模型均已经开源。

为了避免以上限制,MMAudio 采用一种多模态联合训练范式,它在一个transformer中同时考虑视频、音频和文本,并在训练期间屏蔽缺失的模态。

在大型多模态数据集上进行联合训练可以实现统一的语义空间,并使模型学习更多的数据,以学习自然音频的分布。从实验上看,通过联合训练,模型在音频质量、语义对齐和时间对齐都有显著的改进。

MMAudio 模型架构如下所示,借鉴了SD 3和Flux,transformer包含多模态的transformer block和单模态的transformer block。

  • 前者是区分视频,文本和音频三个模态的模型参数,但是采用一个联合attention;
  • 后者所有模态特征共用一套参数。
  • 这里的音频采用一个VAE编码,而视频和文本采用CLIP来提取特征。生成框架采用Flow Matching,timestep通过adaLN来插入模型,同时这里会把平均池化后的视觉特征和文本特征加在timestep embedding上。

MMAudio共有三个大小的模型,S模型参数量是157M,M模型参数量是621M,最大的L模型参数量是1.03B。在视频生视频的VGGSound测试剂上,最小的S模型在分布匹配、音频质量、语义对齐和时间对齐方面都优于以前的方法,同时速度也很快。

另外MMAudio不需要微调,也可以实现文本到音频的生成,而且在benchmark上还可以取得不错的效果。

扩展应用

生成的音乐能否更加丰富?

  • 让LLM生成歌词
  • 生成插图
  • 针对prompt同时生成视频?

把各类LLM工具联动起来,让 Midjourney生图、Runway 动起来,最后再让Suno配乐, 想象空间无限 。。。 已经有一堆人在疯狂测试,杰作频出。

音乐界

使用 OpenAI Sora

【2024-5-10】Watch the first major music video generated by OpenAI’s Sora

唱片公司 Sub Pop 告诉《洛杉矶时报》,艺术家 Washed Out 于 5 月 2 日发行的单曲《The Hardest Part》的音乐视频是主要音乐艺术家、电影制片人和 OpenAI 的 Sora 文本到视频生成器之间的首次合作。

《The Hardest Part》的音乐录影带可能是与Sora的首次正式合作,但一些韩国流行音乐人已经采用了类似的技术来制作创意作品。4 月 24 日,Seventeen 组合发布了一段(人造)音乐视频的预告片,该视频有意使用 AI 生成的剪辑来评论整个行业对 AI 的使用。

Washed Out - The Hardest Part (Official Video)

结束


支付宝打赏 微信打赏

~ 海内存知已,天涯若比邻 ~

Share

Related Posts

标题:【读书笔记】创新三部曲

摘要:创新创业方面的书籍

站内可视化导航

文章可视化导读:鼠标划过图形块时,如果出现蓝色光环, 点击即可跳转到对应主题
模型层
模态层
文本生成
图像生成
语音生成
视频生成
扩散模型
NLP任务
对话系统
LLM大模型专题导航
LLM训练流程
分布式训练
GPU
DeepSpeed
RAG
FineTune
RLHF
PEFT
数据准备
模型评估
PyTorch
数据标注
MoE
LLM应用方案
Transformer
GPT-1
BERT
Scaline Law
复杂推理
Function Call
Plugin 插件
小模型
Agent
智能体
LangChain
AutoGen
CoT
Prompt Engineering 
提示工程
APE 
提示词自动化
Prompt Attack 
提示词攻击
多模态
Prompt Learning 
提示学习
Transformers 库
Embedding
分词
预训练语言模型
ChatGPT
NLP模型
ChatGLM
Baichuan
ChatGPT
大语言模型
垂类模型
专题优化
幻觉
PE
推理性能
Prompt优化
Agent框架
模型训练
智能客服
对话管理
文本生成
文本分类
文本匹配
NER
阅读理解
GPT-2
NLP基础知识
聚类
深度学习
机器学习
深度学习
神经网络
神经网络调参
AutoML
强化学习
因果科学
多任务学习
用户模拟器
图神经网络
AGI
脑机接口
AIGC行业
行业知识
AI行业报告
具身智能
ML笔记
应用层
人工智障
大模型时代对话系统
LLM 开发模式
对比学习
计算机视觉
视频理解
推荐系统
文档问答
开放域问答
LLM问题
推理优化
服务部署实验
自动标注
ChatGPT应用
评估方法
目标检测
大模型评测
ChatGPT复现
AI生成
LLM原理
音乐生成
推理加速
LLM端侧部署
OpenAI
AI公司
AIGC 机会
用户画像
大脑原理
回归分析
芯片
在线教育
汽车原理
自动驾驶
异常检测
聚类算法
贝叶斯
元宇宙
新技术
机器人
搜索
可解释性
NAS
元学习
情感计算
知识追踪
互联网金融
房产行业
量化交易
股票
物联网
移动设备
语音生成
模型部署
最优化
排序学习
微积分
知识图谱
博弈论
联邦学习
密码学
流形学习
Python
特征工程
区块链
信息论
概率统计
量子计算
Pandas
Scikit-learn
文本挖掘
神经网络可视化
不均衡问题
精简笔记
文本分类
ML军规
线性代数与矩阵
Go
ML本质
LBS
傅里叶变换
Git
Jupyter
Linux
Shell
Latex
Jekyll
教育
分形几何
SQL
可视化
数据挖掘
vpn
计算机网络
计算机语言
操作系统
图形学
计算机知识脑图
基础算法
算法比赛
Web前端
架构设计
Docker
小程序
测试
面试指南
数学历史
makefile
Linux C
C/C++
设计模式
Tensorflow
Pytorch
Pytorch手册
计算机基础
数学知识
【2025-02-22】
wqw547243068@163.com
图像处理
OCR
智能硬件
传感器
GPT-3
Transformer改进
AIGC
内容检测
端到端对话
LLM发展方向
具身智能
DeepSeek
Encoder模块
(NLU场景)
Decoder模块
(NLG场景)
GPT-3.5
GPT-4
2018年6月

2018年10月
Google
2019年2月
2020年5月
Albert
2019年10月

OpenAI
Agent应用
端侧LLM
训练框架
ME
模型编辑
NL2SQL
推荐系统
LLM推荐系统
机器人
具身智能
模型蒸馏
语音识别
T5
Geimini

Comments

--disqus--