AI技术华语歌,终于能听了!从零预预训练十亿参数,告别「人机

英语是重音计时型语言,一个音节可以拉多长都行,无所谓;中文歌词和旋律、节拍之间的对应关系会更难把握。比如爱可以拖成「爱~~」,但要是把「的」「了」「着」这种轻声助词拖得特别长,会巨奇怪。

特别是verse第四句歌词开头那个「塞」的咬字,我很少听到AI国语音乐注意到这个细节,像s、c这种舌尖前音,其实是特别适合用带停顿的短促发音来制造律动的。

那种,用户输入歌词、风格情绪描述与指定歌手,算法模型一次性直接生成长达3分钟、人声与伴奏俱全的完整立体声歌曲,还能同步输出独立的人声分轨与伴奏分轨。

示意图

英语里一个词可能有多个音节,而且弱读、连读、吞音不少,比如I wanna know,唱起来可以糊成一串,也能听懂。

根据官方公布的信息,他听着伴奏的律动,感受着鼓点的推进,然后决定——这个气口落在哪里,这个音要怎么咬,这段尾音该收还是该放。

拆开做当然技术难度更低,但总会觉得人声和伴奏之间隔了一层什么东西。各唱各的,没有呼吸感。

示意图

传统AI音乐的做法是「事后对拍」。人声和伴奏各自生成完毕,再像两个图层一样硬叠在一起。

这也是为什么,YouTube英文播客基本无自带字幕,但在中文社区,内嵌字幕是必备的。

人声机械生硬、情感表达空洞干瘪,对国风、华语流行、民谣等国民主流曲风适配度极低。

简单来说就是,模型得知道哪个字落在哪个拍子上,哪个字可以拖,哪个字不能乱拖。

这首歌,是我让它以一首我特别喜欢的Jazz Hiphop为灵感,给定歌词,

中文每个字本身带音高走势,四声之别,「妈」和「骂」就是完全不同的两个字。

另一个版本的《关于小羊》我也蛮满意的,大家可以边读文章边当bgm挂着。

说实话,我早已很久没有用「清爽」这个词来形容任何一首AI歌曲了。

现在市面上的主流AI音乐模型,从出生的第一天起就是为英语准备的。

但中文是一个字一个音节,边界很清楚,一旦连得太厉害,基本听不懂。

这也是为什么歌歌AI选择从零开始,为华语音乐重新设计一套技术栈。

AI华语歌,终于能听了!从零预训练十亿参数规模,告别「人机味」

我猜你看到「预训练」这三个字的第一反应,应该和我最开始一样:

上面这些音频丢给身边几位音乐发烧友听了下,得到的评价大多

与此同时,一首AI技术音乐,人声和伴奏是怎么组合起来的?

总而言之就是,基于英语AI音乐模型做本土化,

这首《Coco》的结尾也用了这种手法。

与此同时,这事吧,得先从一个更本质的问题聊起——

从行业角度来看,命名为——《关于小羊》(doge)。

但为了这一句话,他们从零预训练了一个

人工智能技术华语音乐,终于能听了。

让AI音乐,听起来像中国人写的歌。

持续的技术创新正在推动产业升级。

量子位 | 公众号 QbitAI

整理编辑:硅基前哨

作者 AI采集