《零•壹|中國色》,一場關於AI音樂的瑰麗冒險

作者 | 卡卡          編輯 | 范志輝

上海之春國際音樂節,是中國歷史最悠久的音樂節,也是上海音樂文化的標誌。這個春天,一副特殊的音樂畫卷,正在上海之春國際音樂節徐徐展開:

笙者生也,日升破曉,東方風來滿眼春,此謂《東方既白》。笛與箜篌,管弦唱和,輕如松花落金粉,此謂《松花》。古箏清音,逸響聲動,艷粉嬌紅吹滿地,此謂《嬌紅》。阮分大小,荷有長幼,欲知菡萏色,但請看芙蓉,此謂《菡萏》。

‍從日升到花‍綻,誰說音樂沒有色彩?

演出舞台的設計也讓人印象深刻——1862時尚藝術中心是由一座老船廠改造而成,獨特設計的玻璃幕牆反射出演奏家和觀眾們共享國樂的身影,無論是夜晚場還是下午場,都有獨屬於自己的美。在這裡國樂國色、天地自然與現代城市融為一體。

但或許你不知道,這樣優美的音樂、這副繽紛的音樂畫卷,是出自ai的手筆。

「為什麼不能讓ai輔助我們的藝術家呢?」一個靈感火花,促成了上海民族樂團與騰訊音樂娛樂集團(tme)的合作,也有了這場為《零•壹|中國色》的音樂會。

這也是全國首個ai作曲的中樂音樂會,由上海民族樂團、tme以及1862時尚藝術中心首次聯合主辦,也是騰訊音樂天琴實驗室和騰訊ai lab聯合研發的【琴樂大模型】的「初舞台」。

傳統與現代、民族與科技水乳交融,攜手為觀眾呈現了一場的高水平視聽盛宴,也不免令人好奇這場音樂會的台前幕後——中樂與ai的「姻緣」是如何誕生, 在「古與今」的碰撞磨合中,又產生了哪些新的火花,這次合作之於音樂行業,又存在着什麼樣的意義與影響?

讓我們把時針回撥,回到一切尚未開始的那一刻。

蝴蝶從何時扇動翅膀?

就像亞馬遜雨林的一隻蝴蝶輕輕扇動翅膀,引起了一場席捲美國的風暴一樣。中樂與ai的牽手,源自於藝術家的好奇與技術咖的浪漫。

「陳珊妮調教ai陳珊妮發片以假亂真」、「孫燕姿面對ai孫燕姿,回應人類無法超越ai」……去年關於ai音樂的話題很多,面對新技術的呼嘯而來,上海民族樂團選擇上前一步,主動擁抱新變化。

「這不是誰取代誰的問題」,上海民族樂團團長羅小慈,一直就是個喜歡「打破規則」的人,「我們無法迴避ai對人類生活的影響和包裹,也很難想像未來會走向哪裡,既然如此,為什麼不更進一步,看看文科生與理科生能碰撞出什麼來?」

懷揣着好奇、激動,或許還有一點對未知的恐慌,文科生邁出了一步;而另一端,理科生對這次合作同樣心馳神往已久。

qq音樂技術副總裁、天琴實驗室負責人周文江在計算機和互聯網相關領域深耕十幾年,是位不折不扣的技術咖。他從來不認為技術與藝術是相斥的,「我們從來沒有想過ai完全取代創作家,而是通過ai提升效率,替代過去大量人工,或者提昇平台運營效率,去輔助我們的創作者更好地創作優秀作品,而不是代替創作者完成更高級別、更高難度的作品。」

tme與上海民族樂團今年2月份宣布開啟戰略合作。文科生與理科生的手,終於握到了一起。

既然是中樂與ai的「聯姻」,音樂會自然是最佳合作方式。但音樂會怎麼做,選擇什麼主題卻讓人犯了難。

一方面在國內沒有過這樣的先例,意味着沒有可參考的對象;另一方面,無論是上海民族樂團還是tme,都不希望ai+中樂變成一種噱頭,而是想通過這次音樂會去證明兩者相融的更多可能性。

面對這兩大難題,藝術家的浪漫成為了破局的關鍵。

「有一次主創在二樓排練廳開會,剛吃完飯嘛,大家都有點昏昏欲睡,我正好對着窗戶,看到外面綠色的、黃色的葉子,還有嘰嘰喳喳的鳥叫,那一刻我覺得很愜意很放鬆。所以我在想,能不能用音樂來表現顏色呢?讓那一抹綠、一抹黃,還有那一刻的放鬆與愜意,通過音樂傳遞給更多人。」

羅小慈說,她想到用音樂表現色彩,因為中樂與中國傳統色都是中國古老智慧的體現,也是表達自然的一種載體,而且中國色有很多是植物染色得到的,有一種動態的時間的變化在裏面,這種自然的韻律與樂器的韻律感也很契合。於是,音樂會的主題就這樣定了下來——用音樂來展示中國傳統色。

確定了主題,接下來就是具體的設計。每一種色彩要和樂器對應和關聯,同時她提出不止要關聯樂器的音色音質,還希望能把演奏家的個性也凸顯出來。

技術咖們,則負責讓這一份浪漫落地,讓一切變得更具體可執行。

「我們的音樂生成大模型,根據上海民族樂團的風格與演出需求進行專屬定製,無論是琵琶、阮、笛、古箏等傳統民族樂器,還是鍵盤、爵士鼓等現代流行樂器,經過豐富多樣的音樂曲式和創作規律進行訓練,再通過風格優化,將實現輸入描述指令直接生成高質量音樂,也就是『文本成曲』。」

「而且我們也不都是理科生」,周文江笑着補充:「我們團隊一半以上有音樂背景,不是大家想的只會寫代碼的程序員」。

今年三月份,【琴樂大模型】生成曲譜,藝術家們立刻投入緊張的排練中,而技術咖們則隨時待命,根據反饋進行進一步調整修正。儘管已經做了充足的準備,甚至提前小範圍進行了試演,但直到音樂會正式亮相,大家那顆懸着的心才算放下來。

以笙曲《東方既白》始,以器樂組合《色雅》終,觀眾陶醉的神情與熱烈的掌聲,就是對《零•壹|中國色》最好的肯定。音樂會也許只是個開始,伴隨着蝴蝶翅膀的扇動,必將誕生更多新的嘗試。

為夢想搭橋的人

《零•壹|中國色》無疑是成功的,ai與中樂之間的水乳交融,給人留下了深刻的印象。但這樣一場精彩的演出,是技術咖與藝術家們攜手克服無數難點共同呈現的。

音樂大模型在實際生活中的應用已經很廣泛了,但用傳統中樂訓練ai音樂大模型還是不太一樣。騰訊音樂天琴實驗室音頻技術負責人趙老師透露,中樂訓練的難點在於:樂器種類多、成品作品少。

「這個少主要是相對於ai學習的幾百萬歌曲這種量級,整體是偏少的」,而且中樂演奏時間長、演奏方式特殊,這也使得整體算法有所區別。

「針對這些特點,上海民族樂團給我們一些歌曲的內容,我們來對原有生成模型進行中樂精調,最終得到一個中樂屬性的大模型基座,然後來進行中樂的生成。」這也就是前文我們提到的【琴樂大模型】。

【琴樂大模型】具備豐富的ai作曲和編曲能力。基於文本輸入中英文關鍵詞、描述性語句或音頻,【琴樂大模型】可實現為普通大眾提供「直接生成音頻」能力——文本生成式音樂,也可為有後期編輯需求音樂人提供「同時生成音頻與樂譜」能力——曲譜生成。

據了解,目前【琴樂大模型】已上線面向全行業音樂創作者開放的音樂製作服務平台"騰訊音樂啟明星平台」。 

並且,天琴實驗室的技術工作人員告訴我們,經大規模雙盲聽測結果表明,在純音樂生成任務中,【琴樂大模型】的多維度主觀評分均穩定超越業內musicgen 3.3b stereo。

雖然去年九月已經有過利用大模型生成ai創作曲《魔法字符》的經驗,但面對中樂,技術咖們還是覺得有些忐忑。趙老師講到,「民族音樂太獨特了,而上海民族樂團作為中國最早的民族樂團歷史悠久,我們很擔心技術上不能很好地展現中樂的獨特性和調性」。

解鈴還須繫鈴人。【琴樂大模型】的雛形出來後,上海民族樂團的胡老師到深圳看了演示效果後,大家坐在一起開誠布公地討論技術方面的優勢及問題。

「聊過之後就好多了,我們的大方向沒錯,而且我們發現,華語音樂、民族音樂確實是我們的優勢,也是有別于海外那些技術巨頭的地方。」

關關難過關關過,解決了最底層的問題後,新的難題隨之而來。

無論是唱歌還是演奏,人的情緒是會體現在表演之中的。羅小慈舉例,不一樣的人演奏同一條旋律,觀眾感受到的氣口、呼吸都不同。「同樣是4個小節,ai和實際演奏者吹出來,觀眾感受到的情緒和速率都不一樣」。

人在演奏中會有真情流露的時刻,這種因情緒造成的細微差別構成了藝術表演的迷人瞬間,而技術被認為是冰冷的、永遠保持一致性的,那麼在創作中要如何解決「ai沒有情緒」的問題?

「這個問題是可以通過技術解決的」,周文江說,ai可以通過學習大量的創作規律與樂理知識,創作出符合一般樂迷聽感的作品。而如何模擬人類演奏音樂的情感,可以在相關作品上標註情緒,讓機器學習不同情緒和音樂之間的關聯性。

他進一步舉例,「給ai下一個寫一首歡快的中樂,只是初步指令,後面還需要更多體現演奏家情感表達等個性化特質的數據,這樣ai作曲作品就會有更豐富的音樂情緒」,而且這也符合羅團長提出的「要表現不同樂器特質,也要表現演奏家不同個性」的需求。

那藝術家們與【琴樂大模型】之間的磨合是否順利呢?比起技術咖們的忐忑,藝術家們對於新事物的接受程度很快。

「它交過來的曲子,我覺得可以就說可以,覺得不行就直接打過去重做。如果是和人溝通,還要考慮說話的方式方法,和ai不用考慮這些,溝通很快。」羅小慈說調教大模型的過程,讓她覺得「很爽」。

其他幾位老師則覺得,沒看到實際作品之前他們心裏也有點沒底,怕ai做出來的東西會很怪,「結果拿到手發現整體蠻好的,就是一些細節的地方,還有樂器之間的編排需要再調整」。

正如周文江說的那樣,ai不是要取代藝術家,而是讓創作過程變得更高效快捷。【琴樂大模型】與上海民族樂團的演奏家們攜手,讓這場關於音樂與色彩的浪漫夢想成為現實。

是答卷,也是定心丸

羅小慈和周文江都笑稱,他們的合作是一次冒險,也是一次考試,而《零•壹|中國色》就是他們交出的答卷。

但站在行業發展的角度來看,它不僅是一份答卷,也是一顆定心丸。

面對新事物的不斷湧現,一味去迴避並不能解決問題。就像羅小慈說的,既然無法避免,為何不上前一步?真正合作之後,藝術家們發現,對他們而言,ai更像是趁手的工具,把他們從一些重複性的工作中解放出來,將精力投入更重要的事情中。

作為一個喜歡「打破傳統」的人,羅小慈坦言,無論她自己還是上海民族樂團都很樂於嘗試並接受新事物,因為對於他們來說中樂現階段最大的瓶頸在於創作,「很多時候我覺得,上海民族樂團最難的不是經費,最難的是沒有創意,如果哪一天我們沒有創意和好奇心,藝術創作才會真正出現瓶頸。」

而一個每日被重複性工作包圍的人,還會保持着充沛的想像力嗎?這很難說。就像周文江說的,技術是為了輔助藝術家、解放藝術家,而不是誰和誰搶飯碗。

當然,因為重複性工作有ai代勞,那些「音樂糊裱匠」也會因此被自然而然地淘汰,「ai可能會替代一些比較中庸的或者平庸的,但是我堅信偉大的藝術家短時間內可能還很難被替代」。

通過這次合作,藝術家們還發現,ai不僅能輔助他們,還能刺激他們反向思維,開啟不同的視角。

「突破人類思維的限制,是我們和ai合作的初心」,羅小慈說。同時她也覺得,ai是在倒逼藝術家能夠不斷的有更好的創意,有更獨特的方式,能夠有更好的作品、精品奉獻給觀眾,「這樣我們才能晚點被取代,是不是哈哈」。

更重要的是,我們都知道中樂在幾千年間的發展過程中,有些東西被原汁原味地傳承下來,也有些東西隨着歷史長河而逝,還有些東西因為時間流逝,已經發生了翻天覆地的變化,而技術手段可以實現傳統藝術的「數字新生」。

比如去年qq音樂藉助「qq音樂銀河音效」的ai技術,根據不同情感和意境進行相關曲目的ai創編,完成了 12首古琴療愈音樂,讓千年古琴穿越時空,在數字世界煥發新生。而對於藝術創作,特別是中樂創作而言,這種「數字新生」能夠幫助他們更全面地了解古代樂器的音質與特性,並應用在自己未來的創作中。

2023年初,qq音樂還邀約國樂大師馮滿天領銜,跨界先鋒音樂家朱序芝、3d療愈音樂家秦毅,青年作曲家、鋼琴家常樂,基於曾侯乙編鐘1:1複製件的音色採樣,進行多元風格的煥新創作。而古樂採樣+多元創作,無疑會引起更多年輕人對於傳統音樂的關注,文化傳承也變成一件更為絲滑的事。

結語

《零•壹|中國色》,是一場演出,是一次冒險,也是一份答卷。它讓我們看到了技術+藝術的更多可能性,也看到從業者們的勇氣與擔當。

據悉,上海民族樂團與tme的長線戰略合作將不斷深入,4月27日《零·壹|中國色》將在qq音樂及qq音樂視頻號線上播出,上海民族樂團專區也將同步上線,期待與更多觀眾共同感受這場現代科技與當代國樂相輔相成、和諧共鳴的視聽盛宴。

期待未來行業中會湧現出更多這樣的合作,也希望在技術的加持下,我們的傳統音樂再次拓新,煥發出更迷人的光芒。 

*本文圖源網絡,如侵權聯繫刪改

排版 | a