我们需要AI社区。有朋友和盟友的人比没有的人做得更好。尽管AI世界似乎每周都会带来突破,但你最好与朋友一起区分什么是真实的、什么是炒作,去验证想法,相互支持,一起创造。
论文地址:https://arxiv.org/pdf/2401.01792.pdf
我想,这或许是因为玩家们真的需要一个包容的精神乐园,而蛋仔恰好成了一个乌托邦。它让玩家在生活中错过的那些欢笑或感动、放肆或沉思,拥有一个恰当的场景来释放。在这些情绪体验的支撑下,蛋仔才能够让玩家的内心得以重新变得柔软、并重新捡起对新一年的期望。
除了可以从文字生成音乐外,它还支持图像、视频和音频生成音乐,并且还可以编辑已有的音乐。该项目利用了MERT等编码器进行音乐理解,ViT进行图像理解,ViViT进行视频理解,并使用MusicGen/AudioLDM2模型作为音乐生成模型(音乐解码器)。用户可以轻松移除或替换特定乐器,调整音乐的节奏和速度。这使得用户能够创造出符合其独特创意的音乐作品。
另外,DreamTalk还具有说话风格预测的功能,能够根据语音预测说话者的风格,并同步表情,使得动画更加贴近原始音频。此外,该框架适用于多种场景,可以用于歌曲、不同类型的肖像,甚至在嘈杂环境中也能表现良好。