歌手“AI子格”出道 ,“AI+”又有新花样

6月18日,中国内地流行女歌手崔子格发布首张“全AI”个人原创EP,在QQ音乐上线,包含《假想敌》、《剧本爱》、《神游》三支单曲,引发广泛关注。

崔子格发行过大热歌曲如《卜卦》、《红颜旧》,也为《墨雨云间》、《清平乐》、《那年花开月正圆》、《太子妃升职记》等热播影视剧演唱OST。

不同于以往的作品,这张EP里的每首歌都是由AI大模型演唱,音色和演唱方法与崔子格本人几乎没有区别,而“演唱者”正是以崔子格本人为原型训练出来的AI大模型——“AI子格”。

很多人好奇,“AI子格”的训练方法是什么呢?为何有如此精湛的演唱技法?

此次“AI子格”的形象和声音都是由跳悦智能为其定制的。

AI子格的形象创作,采用了跳悦智能的「跳悦AI数智分身」-数智孪生效果产品。在打造AI子格的过程中,既希望保留子格本人真实的样貌特征,又不希望太写实,需要有AI风格和科技感。传统的服化道方式无法完成这样形象的创建。而采用「跳悦AI数智分身」-数智孪生效果产品,仅通过一张照片就可以定制出与崔子格本人特征一致,但是造型迥异、风格百变的形象,满足AI歌手在不同场景下的形象需求。

例如这次“AI子格”的原创EP封面,未来科幻风扑面而来,与“无限、探索”的专辑理念,以及歌曲中表达的构建世界与自我的态度不谋而合。据悉,「跳悦AI数智分身」-数智孪生效果产品背后的技术是基于潜在一致性扩散原理的视频合成模型,可以基于每个人的真实照片训练专属模型,而且还可以合成能演唱有动作的AI歌手。

作为一名AI歌手,声音模型更是至关重要。跳悦智能利用原创的基于含音高信息的扩散语音合成大模型技术,利用崔子格本人唱片中的声音数据进行了模型微调,得到了自然感强,能用于演唱的语音合成大模型。大模型能够合成其声线的细微差别、音色的独特感,以及演唱的情感。随着子格本人演唱的数据增加,新的数据可以进一步提供用于训练和优化,使未来的模型能够生成与崔子格声音更相似的声音输出。

发布全AI歌手原创IP,在在华语音乐圈中是一个具有实验性的行为。在崔子格看来,这一实验具有探索AI在艺术创作领域与人类工作的替代、互补关系的意义。

从技术进步与社会分工的角度看,AI歌手的出现正在改变音乐产业的社会分工。传统上,音乐创作和演唱是一种高度依赖人类天赋和训练的艺术形式。然而,随着AI技术的发展,创作和演唱的边界正在被重新定义。

例如,对于听众来说,AI歌手为其带来了更多的音乐审美体验。对于那些无法负担高昂制作成本的独立音乐人来说,AI技术提供了一个强大的工具,帮助他们实现创作梦想。曾经有专业制作人表示,通过AI歌手所生成的歌声,能够快速、直观地聆听自己所生成的作品。这种创作方式可以省下邀请歌手的费用,降低音乐制作的成本。

AI歌手的出现也有助于文化多样性的传播。传统音乐制作过程中,地域和文化的限制可能导致某些优秀的音乐形式难以被广泛传播。而AI歌手可以轻松跨越语言和文化的障碍,将不同文化的音乐形式融合在一起,创造出前所未有的音乐体验,促进文化交流。

AI数字人技术在艺术创新和文化传承上的应用很多元,已经有越来越多的文化艺术工作者选择为自己打造一个数字分身,让他/她代替自己完成大量需要真人出镜的视频传播任务,提高创作效率,为文化事业的推广普及作出贡献。

跳悦智能致力于推广和普及人人可用的数智分身技术,让歌手、主持人、企业家、医生、教师、律师、非遗文化传承人、主理人都可以简单经济地创作自己的数智分身,为短视频和直播观众带来创意、知识、和高价值信息。为此,跳悦智能研发了独特的第三代数智人技术,与市面上其他数字人技术相比,其优势是可以快速创建数智人,实现逼真的形象和声音复刻,以及准确的嘴型和肢体动作效果,还可以实现音视频互动。

跳悦智能已经为超过3万用户制作了自己的数智分身。

例如,跳悦智能曾为节目主持人打造数智分身,并且利用「跳悦数智人视频生成平台」快速、批量生产短视频内容,在社交平台进行传播。跳悦智能还为非遗文化传承人打造数智分身,介绍非遗文化内容,可见数智人作为传播传统文化的“新使者”的重要作用。

除此之外,越来越多不同身份的数字人已经进入我们生活中,品牌数字代言人、数字文旅官、数字航天员、数字主播、数字记者……无论是线上、线下,我们都有可能见到拥有特定身份并且承担一定职能的数字人,以他们的视角带我们领略社会文化的多样性

未来,AI与人类文化之间的关系将长期协同共存,AI将继续在技术和工具层面为文化发展和艺术创作提供支持,而作为使用者的人类主体作用则是创意、情感和个性化表达方面的作用。跳悦智能作为AI数智人技术解决方案服务商,持续探索技术研发赋能文化发展的应用边界,为创作注入了新的活力和可能性。

北京跳悦智能科技有限公司成立于2021年,专注真实和智能的拟人AI(数智人)技术研发,是AI数智人产品化开拓者、数智人技术解决方案服务商;已获得真格基金和汉能资本的投资,以及HICOOL、中关村创业大赛、创客北京、itec创业大赛等多个奖项。

业务情况:

跳悦智能的市场定位是领先的AI数智人技术解决方案服务商,专注为政企客户提供AI数字人解决方案。例如:

  • 为某头部大模型公司提供数字人创建和视频合成产品,为其语言模型产品线增加可视化的互动能力。
  • 为某著名电视台提供数字主播创建产品,帮助降低主持人视频制作成本,提高视频产量。
  • 为某上市民营医院提供数字医生克隆产品,实现医疗科普视频的低成本制作,在APP中植入可互动的AI医生功能。
  • 为某殡葬行业上市公司提供数字人方案,打造集团的数字发言人,并为其客户提供逝者复刻服务。
  • 为某电商平台提供数字主播能力,帮助其商家低成本高质量的日不落直播。除此之外,在淘宝、美团、京东、唯品会等平台上,在AI主播每日互动直播数量上,跳悦智能稳居市场前列。

三大产品优势:

个性化:使用跳悦智能的产品线,客户可以快速容易的创建自己的数字人,包括逼真的形象和声音复刻,以及准确的音画同步效果。而市场上大部分数字人竞品,都需要较长的制作周期,才能创作效果较好的数字人模型。

智能化:跳悦数字人不仅外貌逼真,还可以实现音视频互动。而市场上大部分数字人竞品,都只有视频能力,缺少互动。

平民化:基于跳悦自研的AI推理框架,跳悦智能数字人可以在普通PC主机上独立运行,企业部署难度小,让数字人走进每个人的电脑。而市场上大部分数字人竞品,都是基于GPU云服务器推流实现,使用成本高,部署难度大。

技术优势:

跳悦智能核心算法已有6年的积累,是国内积累时间最久最成熟的数字人技术服务上。除了核心算法,跳悦智能遵循数据飞轮原则,不断巩固数据壁垒。

数据积累优势:目前已真实场景100Tb高质量视频数据;电商政务客服场景1000万句文本;1000+人物动作和服饰

模型算法优势:基于大模型的第三代数智人核心算法;源自核心团队6年技术积累;基于 RLHF原理在使用中提升效果;端到端自研模型,可实现人物躯体和微表情控制

算力规模成本优势:自建GPU数据中心控制成本;自研高可靠大规模推理软件架构;峰值支持1000块GPU同时在线

顶尖技术团队:创始人包英泽博士,清华电子工程本科,密西根/斯坦福计算机博士;成功创业者+AI创业项目百度收购;国际AI期刊审稿人,论文引用次数1000+;河北省省级技术领军人才;前VIPKID首席科学家(VP级)、百度主任架构师(T9)

顶级AI团队:达摩院、滴滴研究院算法负责人;中国移动研究院语音算法专家;VIPKid数字人算法高级工程师。 

想获取更多信息?

扫码添加「有AI小悦」

为您提供定制服务

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注