AI還會(huì)寫歌？研究報(bào)告AI可依據(jù)歌詞生成旋律

從歌詞中生成音符序列可能聽(tīng)起來(lái)像是科幻小說(shuō)的內(nèi)容，但人工智能可能會(huì)把這變成普遍的現(xiàn)實(shí)。日前，在 Arxiv.org 上發(fā)表的一篇論文中，來(lái)自東京國(guó)立信息學(xué)研究所的研究人員描述了一種能夠從已學(xué)習(xí)音節(jié)和音符關(guān)系產(chǎn)生“歌詞調(diào)節(jié)”旋律的機(jī)器學(xué)習(xí)系統(tǒng)。

“來(lái)自歌詞的旋律生成一直是人工智能和音樂(lè)領(lǐng)域的一個(gè)具有挑戰(zhàn)性的研究問(wèn)題，它能夠?qū)W習(xí)和發(fā)現(xiàn)有趣的歌詞和伴奏旋律之間的潛在關(guān)系。”該論文的共同作者寫道，“隨著現(xiàn)有歌詞和旋律數(shù)據(jù)集的發(fā)展以及AI，歌詞和旋律之間的音樂(lè)知識(shí)挖掘逐漸成為可能。”

正如研究人員解釋的那樣，音符有兩個(gè)音樂(lè)屬性：音高和持續(xù)時(shí)間。音高是聲音的感知屬性，其在頻率相關(guān)音階上通過(guò)高度或低度來(lái)組織音樂(lè);而持續(xù)時(shí)間表示音調(diào)或音調(diào)被發(fā)聲的時(shí)間長(zhǎng)度。

研究人員的AI系統(tǒng)使用對(duì)齊數(shù)據(jù)與長(zhǎng)短期記憶(LSTM)網(wǎng)絡(luò)結(jié)。LSTM網(wǎng)絡(luò)是一種能夠?qū)W習(xí)長(zhǎng)期依賴性的遞歸神經(jīng)網(wǎng)絡(luò)，經(jīng)過(guò)訓(xùn)練，可以在音節(jié)和單詞級(jí)別學(xué)習(xí)聯(lián)合嵌入數(shù)學(xué)表示來(lái)捕捉歌詞的突出結(jié)構(gòu)，隨著時(shí)間的推移就能學(xué)會(huì)在給出歌詞的同時(shí)預(yù)測(cè)旋律，同時(shí)考慮到歌詞和旋律之間的關(guān)系。

為了訓(xùn)練它，該團(tuán)隊(duì)編制了又12,197個(gè)MIDI文件組成的數(shù)據(jù)集，每個(gè)文件都配有歌詞和旋律對(duì)齊。在將語(yǔ)料庫(kù)分成訓(xùn)練、驗(yàn)證和測(cè)試并將它們嵌入模型之后，研究者進(jìn)行了一系列測(cè)試以確定它預(yù)測(cè)的旋律與歌詞、MIDI、音符持續(xù)時(shí)間和休息持續(xù)時(shí)間順序?qū)R的程度。他們報(bào)告稱，他們所用的人工智能系統(tǒng)不僅“在各個(gè)方面”都超越了基線模型，而且與人類音樂(lè)的分布非常接近。

研究人員寫道：“音樂(lè)和人工智能中歌詞的旋律生成仍然未得到很好的探索。利用深度學(xué)習(xí)技術(shù)制作旋律是一個(gè)非常有趣的研究領(lǐng)域，旨在了解和輔助人類的音樂(lè)創(chuàng)作活動(dòng)。”

如果該研究未來(lái)能夠有所進(jìn)展，人工智能可能很快就會(huì)成為音樂(lè)家們的寶貴工具。今年7月，總部位于蒙特利爾的創(chuàng)業(yè)公司Landr籌集2600萬(wàn)美元用于開(kāi)發(fā)分析音樂(lè)風(fēng)格的產(chǎn)品，以創(chuàng)建定制的音頻處理器，而今年早些時(shí)候，OpenAI和谷歌推出了利用音樂(lè)生成算法的在線創(chuàng)作工具。最近，索尼的研究人員研究了特定條件下的kick-drum軌道生成的機(jī)器學(xué)習(xí)模型。讓AI從事作曲甚至更廣泛的音樂(lè)工作，似乎很快就不屬于天方夜譚。