《零•壹|中国色》,一场关于AI音乐的瑰丽冒险

作者 | 卡卡          编辑 | 范志辉

上海之春国际音乐节,是中国历史最悠久的音乐节,也是上海音乐文化的标志。这个春天,一副特殊的音乐画卷,正在上海之春国际音乐节徐徐展开:

笙者生也,日升破晓,东方风来满眼春,此谓《东方既白》。笛与箜篌,管弦唱和,轻如松花落金粉,此谓《松花》。古筝清音,逸响声动,艳粉娇红吹满地,此谓《娇红》。阮分大小,荷有长幼,欲知菡萏色,但请看芙蓉,此谓《菡萏》。

‍从日升到花‍绽,谁说音乐没有色彩?

演出舞台的设计也让人印象深刻——1862时尚艺术中心是由一座老船厂改造而成,独特设计的玻璃幕墙反射出演奏家和观众们共享国乐的身影,无论是夜晚场还是下午场,都有独属于自己的美。在这里国乐国色、天地自然与现代城市融为一体。

但或许你不知道,这样优美的音乐、这副缤纷的音乐画卷,是出自ai的手笔。

“为什么不能让ai辅助我们的艺术家呢?”一个灵感火花,促成了上海民族乐团与腾讯音乐娱乐集团(tme)的合作,也有了这场为《零•壹|中国色》的音乐会。

这也是全国首个ai作曲的华乐音乐会,由上海民族乐团、tme以及1862时尚艺术中心首次联合主办,也是腾讯音乐天琴实验室和腾讯ai lab联合研发的【琴乐大模型】的“初舞台”。

传统与现代、民族与科技水乳交融,携手为观众呈现了一场的高水平视听盛宴,也不免令人好奇这场音乐会的台前幕后——华乐与ai的“姻缘”是如何诞生, 在“古与今”的碰撞磨合中,又产生了哪些新的火花,这次合作之于音乐行业,又存在着什么样的意义与影响?

让我们把时针回拨,回到一切尚未开始的那一刻。

蝴蝶从何时扇动翅膀?

就像亚马逊雨林的一只蝴蝶轻轻扇动翅膀,引起了一场席卷美国的风暴一样。华乐与ai的牵手,源自于艺术家的好奇与技术咖的浪漫。

“陈珊妮调教ai陈珊妮发片以假乱真”、“孙燕姿面对ai孙燕姿,回应人类无法超越ai”……去年关于ai音乐的话题很多,面对新技术的呼啸而来,上海民族乐团选择上前一步,主动拥抱新变化。

“这不是谁取代谁的问题”,上海民族乐团团长罗小慈,一直就是个喜欢“打破规则”的人,“我们无法回避ai对人类生活的影响和包裹,也很难想象未来会走向哪里,既然如此,为什么不更进一步,看看文科生与理科生能碰撞出什么来?”

怀揣着好奇、激动,或许还有一点对未知的恐慌,文科生迈出了一步;而另一端,理科生对这次合作同样心驰神往已久。

qq音乐技术副总裁、天琴实验室负责人周文江在计算机和互联网相关领域深耕十几年,是位不折不扣的技术咖。他从来不认为技术与艺术是相斥的,“我们从来没有想过ai完全取代创作家,而是通过ai提升效率,替代过去大量人工,或者提升平台运营效率,去辅助我们的创作者更好地创作优秀作品,而不是代替创作者完成更高级别、更高难度的作品。”

tme与上海民族乐团今年2月份宣布开启战略合作。文科生与理科生的手,终于握到了一起。

既然是华乐与ai的“联姻”,音乐会自然是最佳合作方式。但音乐会怎么做,选择什么主题却让人犯了难。

一方面在国内没有过这样的先例,意味着没有可参考的对象;另一方面,无论是上海民族乐团还是tme,都不希望ai+华乐变成一种噱头,而是想通过这次音乐会去证明两者相融的更多可能性。

面对这两大难题,艺术家的浪漫成为了破局的关键。

“有一次主创在二楼排练厅开会,刚吃完饭嘛,大家都有点昏昏欲睡,我正好对着窗户,看到外面绿色的、黄色的叶子,还有叽叽喳喳的鸟叫,那一刻我觉得很惬意很放松。所以我在想,能不能用音乐来表现颜色呢?让那一抹绿、一抹黄,还有那一刻的放松与惬意,通过音乐传递给更多人。”

罗小慈说,她想到用音乐表现色彩,因为华乐与中国传统色都是中国古老智慧的体现,也是表达自然的一种载体,而且中国色有很多是植物染色得到的,有一种动态的时间的变化在里面,这种自然的韵律与乐器的韵律感也很契合。于是,音乐会的主题就这样定了下来——用音乐来展示中国传统色。

确定了主题,接下来就是具体的设计。每一种色彩要和乐器对应和关联,同时她提出不止要关联乐器的音色音质,还希望能把演奏家的个性也凸显出来。

技术咖们,则负责让这一份浪漫落地,让一切变得更具体可执行。

“我们的音乐生成大模型,根据上海民族乐团的风格与演出需求进行专属定制,无论是琵琶、阮、笛、古筝等传统民族乐器,还是键盘、爵士鼓等现代流行乐器,经过丰富多样的音乐曲式和创作规律进行训练,再通过风格优化,将实现输入描述指令直接生成高质量音乐,也就是‘文本成曲’。”

“而且我们也不都是理科生”,周文江笑着补充:“我们团队一半以上有音乐背景,不是大家想的只会写代码的程序员”。

今年三月份,【琴乐大模型】生成曲谱,艺术家们立刻投入紧张的排练中,而技术咖们则随时待命,根据反馈进行进一步调整修正。尽管已经做了充足的准备,甚至提前小范围进行了试演,但直到音乐会正式亮相,大家那颗悬着的心才算放下来。

以笙曲《东方既白》始,以器乐组合《色雅》终,观众陶醉的神情与热烈的掌声,就是对《零•壹|中国色》最好的肯定。音乐会也许只是个开始,伴随着蝴蝶翅膀的扇动,必将诞生更多新的尝试。

为梦想搭桥的人

《零•壹|中国色》无疑是成功的,ai与华乐之间的水乳交融,给人留下了深刻的印象。但这样一场精彩的演出,是技术咖与艺术家们携手克服无数难点共同呈现的。

音乐大模型在实际生活中的应用已经很广泛了,但用传统华乐训练ai音乐大模型还是不太一样。腾讯音乐天琴实验室音频技术负责人赵老师透露,华乐训练的难点在于:乐器种类多、成品作品少。

“这个少主要是相对于ai学习的几百万歌曲这种量级,整体是偏少的”,而且华乐演奏时间长、演奏方式特殊,这也使得整体算法有所区别。

“针对这些特点,上海民族乐团给我们一些歌曲的内容,我们来对原有生成模型进行华乐精调,最终得到一个华乐属性的大模型基座,然后来进行华乐的生成。”这也就是前文我们提到的【琴乐大模型】。

【琴乐大模型】具备丰富的ai作曲和编曲能力。基于文本输入中英文关键词、描述性语句或音频,【琴乐大模型】可实现为普通大众提供“直接生成音频”能力——文本生成式音乐,也可为有后期编辑需求音乐人提供“同时生成音频与乐谱”能力——曲谱生成。

据了解,目前【琴乐大模型】已上线面向全行业音乐创作者开放的音乐制作服务平台"腾讯音乐启明星平台”。 

并且,天琴实验室的技术工作人员告诉我们,经大规模双盲听测结果表明,在纯音乐生成任务中,【琴乐大模型】的多维度主观评分均稳定超越业内musicgen 3.3b stereo。

虽然去年九月已经有过利用大模型生成ai创作曲《魔法字符》的经验,但面对华乐,技术咖们还是觉得有些忐忑。赵老师讲到,“民族音乐太独特了,而上海民族乐团作为中国最早的民族乐团历史悠久,我们很担心技术上不能很好地展现华乐的独特性和调性”。

解铃还须系铃人。【琴乐大模型】的雏形出来后,上海民族乐团的胡老师到深圳看了演示效果后,大家坐在一起开诚布公地讨论技术方面的优势及问题。

“聊过之后就好多了,我们的大方向没错,而且我们发现,华语音乐、民族音乐确实是我们的优势,也是有别于海外那些技术巨头的地方。”

关关难过关关过,解决了最底层的问题后,新的难题随之而来。

无论是唱歌还是演奏,人的情绪是会体现在表演之中的。罗小慈举例,不一样的人演奏同一条旋律,观众感受到的气口、呼吸都不同。“同样是4个小节,ai和实际演奏者吹出来,观众感受到的情绪和速率都不一样”。

人在演奏中会有真情流露的时刻,这种因情绪造成的细微差别构成了艺术表演的迷人瞬间,而技术被认为是冰冷的、永远保持一致性的,那么在创作中要如何解决“ai没有情绪”的问题?

“这个问题是可以通过技术解决的”,周文江说,ai可以通过学习大量的创作规律与乐理知识,创作出符合一般乐迷听感的作品。而如何模拟人类演奏音乐的情感,可以在相关作品上标注情绪,让机器学习不同情绪和音乐之间的关联性。

他进一步举例,“给ai下一个写一首欢快的华乐,只是初步指令,后面还需要更多体现演奏家情感表达等个性化特质的数据,这样ai作曲作品就会有更丰富的音乐情绪”,而且这也符合罗团长提出的“要表现不同乐器特质,也要表现演奏家不同个性”的需求。

那艺术家们与【琴乐大模型】之间的磨合是否顺利呢?比起技术咖们的忐忑,艺术家们对于新事物的接受程度很快。

“它交过来的曲子,我觉得可以就说可以,觉得不行就直接打过去重做。如果是和人沟通,还要考虑说话的方式方法,和ai不用考虑这些,沟通很快。”罗小慈说调教大模型的过程,让她觉得“很爽”。

其他几位老师则觉得,没看到实际作品之前他们心里也有点没底,怕ai做出来的东西会很怪,“结果拿到手发现整体蛮好的,就是一些细节的地方,还有乐器之间的编排需要再调整”。

正如周文江说的那样,ai不是要取代艺术家,而是让创作过程变得更高效快捷。【琴乐大模型】与上海民族乐团的演奏家们携手,让这场关于音乐与色彩的浪漫梦想成为现实。

是答卷,也是定心丸

罗小慈和周文江都笑称,他们的合作是一次冒险,也是一次考试,而《零•壹|中国色》就是他们交出的答卷。

但站在行业发展的角度来看,它不仅是一份答卷,也是一颗定心丸。

面对新事物的不断涌现,一味去回避并不能解决问题。就像罗小慈说的,既然无法避免,为何不上前一步?真正合作之后,艺术家们发现,对他们而言,ai更像是趁手的工具,把他们从一些重复性的工作中解放出来,将精力投入更重要的事情中。

作为一个喜欢“打破传统”的人,罗小慈坦言,无论她自己还是上海民族乐团都很乐于尝试并接受新事物,因为对于他们来说华乐现阶段最大的瓶颈在于创作,“很多时候我觉得,上海民族乐团最难的不是经费,最难的是没有创意,如果哪一天我们没有创意和好奇心,艺术创作才会真正出现瓶颈。”

而一个每日被重复性工作包围的人,还会保持着充沛的想象力吗?这很难说。就像周文江说的,技术是为了辅助艺术家、解放艺术家,而不是谁和谁抢饭碗。

当然,因为重复性工作有ai代劳,那些“音乐糊裱匠”也会因此被自然而然地淘汰,“ai可能会替代一些比较中庸的或者平庸的,但是我坚信伟大的艺术家短时间内可能还很难被替代”。

通过这次合作,艺术家们还发现,ai不仅能辅助他们,还能刺激他们反向思维,开启不同的视角。

“突破人类思维的限制,是我们和ai合作的初心”,罗小慈说。同时她也觉得,ai是在倒逼艺术家能够不断的有更好的创意,有更独特的方式,能够有更好的作品、精品奉献给观众,“这样我们才能晚点被取代,是不是哈哈”。

更重要的是,我们都知道华乐在几千年间的发展过程中,有些东西被原汁原味地传承下来,也有些东西随着历史长河而逝,还有些东西因为时间流逝,已经发生了翻天覆地的变化,而技术手段可以实现传统艺术的“数字新生”。

比如去年qq音乐借助“qq音乐银河音效”的ai技术,根据不同情感和意境进行相关曲目的ai创编,完成了 12首古琴疗愈音乐,让千年古琴穿越时空,在数字世界焕发新生。而对于艺术创作,特别是华乐创作而言,这种“数字新生”能够帮助他们更全面地了解古代乐器的音质与特性,并应用在自己未来的创作中。

2023年初,qq音乐还邀约国乐大师冯满天领衔,跨界先锋音乐家朱序芝、3d疗愈音乐家秦毅,青年作曲家、钢琴家常乐,基于曾侯乙编钟1:1复制件的音色采样,进行多元风格的焕新创作。而古乐采样+多元创作,无疑会引起更多年轻人对于传统音乐的关注,文化传承也变成一件更为丝滑的事。

结语

《零•壹|中国色》,是一场演出,是一次冒险,也是一份答卷。它让我们看到了技术+艺术的更多可能性,也看到从业者们的勇气与担当。

据悉,上海民族乐团与tme的长线战略合作将不断深入,4月27日《零·壹|中国色》将在qq音乐及qq音乐视频号线上播出,上海民族乐团专区也将同步上线,期待与更多观众共同感受这场现代科技与当代国乐相辅相成、和谐共鸣的视听盛宴。

期待未来行业中会涌现出更多这样的合作,也希望在技术的加持下,我们的传统音乐再次拓新,焕发出更迷人的光芒。 

*本文图源网络,如侵权联系删改

排版 | a