Googleの新しいAIツールは、テキストを音楽に変えることができます。

Googleは最近、テキストの説明に基づいてあらゆるジャンルの音楽を作成できる新しい人工知能（AI）音楽生成器を開発したと発表しました。

木曜日に発表された研究論文で、Googleの研究者たちは「MusicLM」と呼ばれる音楽制作AIツールを紹介しました。これは、「歪んだギターリフに支えられた落ち着いたバイオリンメロディ」といったテキストの説明から高忠実度の音楽を生成するモデルです。

MusicLMは、条件付き音楽生成のプロセスを階層的なシーケンス・ツー・シーケンスモデリングタスクとして捉え、数分間にわたって一貫性のある24kHzの音楽を生成します。

さらに、このAIツールは、テキストと音のプロンプトから最大5分間の「オリジナル」音楽を生成できます。MusicLMは、280,000時間以上の音楽で構成されたデータベースで訓練され、任意のジャンルの説明に対して一貫した曲を生成する方法を学びました。

「私たちの実験は、MusicLMが音質とテキスト記述への遵守の両方において以前のシステムを上回ることを示しています。さらに、MusicLMはテキストとメロディの両方に条件付けることができ、テキストキャプションで説明されたスタイルに従って口笛やハミングのメロディを変換できることを示しています」と論文には記されています。

研究論文によると、MusicLMは次のような豊かに書かれたキャプションから曲を作成できる可能性があります。

アーケードゲームのメインサウンドトラック。速いテンポで陽気で、キャッチーなエレキギターのリフがあります。音楽は繰り返しが多く、覚えやすいですが、シンバルのクラッシュやドラムロールのような予想外の音もあります。<&47;em>

または

音声が短いテキストプロンプトのシーケンスを提供することで生成された「ストーリーモード」を通じて、次のように:

瞑想の時間（0:00-0:15）、起きる時間（0:15-0:30）、走る時間（0:30-0:45）、100%を出す時間（0:45-0:60）<&47;em>
ビデオゲームで流れる電子音楽（0:00-0:15）、川のそばで流れる瞑想音楽（0:15-0:30）、火（0:30-0:45）、花火（0:45-0:60）<&47;em>

GoogleのMusicLMは、絵画からのムードや雰囲気を捉えた音楽クリップを生成することもでき、特にエドヴァルド・ムンクの「叫び」やサルバドール・ダリの有名な「記憶の持続」といった、アート界で最もよく知られた作品の説明から生成されます。

GoogleのGitHubページにアクセスして、MusicLMによって生成された音楽トラックのいくつかを聴くことができます。

将来の研究を支援するために、Googleはすでに5,500の音楽とテキストのペアからなるデータセットMusicCapsを公開しており、人間の専門家によって提供された豊富なテキスト説明が含まれています。

それでも、MusicLMが近い将来に一般に公開されることは期待しないでください。公開される前に対処すべき多くの懸念があります。

Googleの研究者によると、AIツールには既存の制限があり、これには表現の欠如や文化の盗用につながるプログラミングのバイアス、音声の質、技術的な不具合、テキストプロンプトで使用される否定や時間的順序が含まれます。

実際、実験中にGoogleの研究者たちは、MusicLMによって生成された音楽の例の約1％が、訓練に使用された曲から直接コピーされていることを発見し、著作権の懸念が高まりました。

「私たちは、使用事例に関連する創造的コンテンツの潜在的な不正使用のリスクを認識しています。音楽生成に関連するこれらのリスクに対処するためのさらなる将来の作業の必要性を強調します — 現時点ではモデルをリリースする計画はありません」と研究は述べています。