Meta の AI 画像ジェネレーター、必要なのは言語だけかもしれないと語る
CM3Leon プログラムは、拡散などのアプローチのわずかな計算量で高解像度の画像を生成できます。
Meta の CM3Leon は、GPU コンピューティングの一部を使用して、オブジェクトの複雑な組み合わせや、手やテキストなどのレンダリングが難しいものを含む画像を、ベンチマーク FID スコアで新しい最先端を達成するレベルで実現します。
ここ数年、フレーズを入力すると画像を生成する人工知能プログラムや、Stable Diffusion や DALL*E など、希望するスタイルで画像を出力し、使用することで微妙に変化させることができるプログラムが世界を驚かせてきました。さまざまなプロンプトフレーズ。
通常、これらのプログラムは、サンプル画像に対して圧縮プロセスを実行し、次にそれらを解凍して元の画像を復元することによってサンプル画像を操作することに依存しており、それによって画像作成のルール、つまり拡散と呼ばれるプロセスを学習します。
こちら: 生成 AI: それを「アーティスト」と呼ぶな、とサイエンス誌で学者が語る
先週紹介された Meta による研究は、もっと単純なことを示唆しています。画像は単語と同様に単なるコードのセットとして扱うことができ、ChatGPT がテキスト行を操作するのとほぼ同じ方法で処理できます。
AIに必要なのは言語だけなのかもしれない。
その結果、複数の要素を持つ複雑な主題を処理できるプログラムが完成しました (「オートバイのヘルメットとケープを身に着けたテディベアが、ドイス イルマンスを背景にリオデジャネイロでオートバイに乗っています。」)。手や手などの難しいオブジェクトをレンダリングできます。テキスト、多くの画像生成プログラムでは歪んでしまう傾向にあるもの。特定の画像を詳細に記述したり、特定の画像を正確に変更したりするなど、他のタスクも実行できます。そして、通常必要とされる計算能力のほんの一部で実行できます。
Meta の AI 研究サイトに投稿された、Facebook AI Research (FAIR) の Lilu Yu 氏らによる論文「自己回帰マルチモーダル モデルのスケーリング: 事前トレーニングと命令チューニング」では、重要な洞察は、画像をあたかも画像であるかのように使用することです。言葉。あるいは、むしろ、テキストと画像は、画像をトークンに置き換える「コードブック」を使用して連続した文として機能します。
「私たちのアプローチは自己回帰モデルの範囲を拡張し、費用対効果とパフォーマンスの点で拡散モデルと競合し、それを超える可能性を実証しています」とYu氏とチームは書いている。
コードブックのアイデアは、ハイデルベルク大学のパトリック・エッサー氏らによって2021年から本格的に始動した。彼らは、畳み込みニューラル ネットワーク (CNN) と呼ばれる、画像ファイルの処理に特化した、長年使用されている種類のニューラル ネットワークを採用しました。画像を捏造できる敵対的生成ネットワーク (GAN) と呼ばれる AI プログラムをトレーニングすることにより、CNN は画像のエッジなどの側面をコードブックのエントリと関連付けるように作られました。」
これらのインデックスは、ChatGPT などの言語モデルの単語が次の単語を予測する方法と同じように予測できます。高解像度の画像は、ピクセル予測ではなくインデックス予測のシーケンスとなり、計算量がはるかに少なくなります。
CM3Leon の入力はトークンの文字列であり、画像はコードブック エントリへの参照であるテキスト形式の別のトークンに縮小されます。
コードブックのアプローチを使用して、Meta の Yu 氏と同僚は、画像コードブックを処理できる大規模な言語モデルであるニューラル ネットワークである CM3Leon (「カメレオン」と発音) と呼ばれるものを組み立てました。
CM3Leon は、FAIR によって昨年導入された以前のプログラム、「因果マスクされたマルチモーダル モデリング」用の CM3 に基づいて構築されています。これは、シーケンス内の次の要素を予測するように訓練された「トランスフォーマー」スタイルのプログラムであるという点で ChatGPT に似ています (「デコーダーのみのトランスフォーマー アーキテクチャ」)。ただし、それを、入力された内容の「マスキング」部分と組み合わせています。 Google の BERT プログラムに追加することで、文の後半にある内容からコンテキストを取得することもできます。
CM3Leon は、CM3 に検索と呼ばれるものを追加することによって CM3 上に構築されています。大規模な言語モデルでは検索がますます重要になってきていますが、これはプログラムが必要に応じて「電話をかけ」、ドキュメントのデータベースにアクセスし、プログラムの出力として関連する可能性のあるものを取得できることを意味します。これは、ニューラル ネットの重みやパラメーターが予測に必要なすべての情報を運ぶ負担を負わなくて済むように、メモリにアクセスする方法です。
Yu 氏とチームによると、彼らのデータベースは画像ドキュメントとテキスト ドキュメントの両方を検索できるベクトル「データ バンク」です。「マルチモーダル ドキュメントをテキスト部分と画像部分に分割し、それらをオフ-CLIP テキストと画像エンコーダを凍結し、その 2 つをドキュメントのベクトル表現として平均化します。
斬新な工夫として、研究者らはトレーニング データセットとしてインターネット画像ではなく、ストック写真会社 Shutterstock からライセンスを取得した 700 万枚の画像のコレクションを使用しています。 「その結果、パフォーマンスを犠牲にすることなく、画像の所有権と帰属に関する懸念を回避できます。」
データベースから取得された Shutterstock 画像は、CM3Leon の事前トレーニング段階でプログラムの機能を開発するために使用されます。これは、ChatGPT や他の大規模な言語モデルが事前トレーニングされるのと同じ方法です。ただし、その後、追加のステージが実行され、事前トレーニングされた CM3Leon の入力と出力の両方がモデルにフィードバックされてモデルをさらに改良します。これは、「教師あり微調整」 (SFT) と呼ばれるアプローチです。
これらすべての結果として、さまざまなテキスト画像タスクの最先端を実現するプログラムが完成しました。彼らの主なテストは、カーネギー メロン大学の Xinlie Chen らによって 2015 年に公開されたデータセットである Microsoft COCO Captions です。プログラムは、オーストリアのリンツ・ヨハネス・ケプラー大学のMartin Heuselらによって2018年に導入された類似性尺度であるFIDスコアと呼ばれるものに従って、データセット内の画像をどの程度うまく複製するかによって判断されます。
Yu とチームに次のように書きます。「CM3Leon-7B モデルは、PARTI などの他のモデルのトレーニング データとコンピューティングの一部のみを使用しながら、新しい最先端の FID スコア 4.88 を設定します。」 「7B」の部分は、プログラムの規模の一般的な尺度である 70 億のニューラル パラメーターを持つ CM3Leon プログラムを指します。
表は、CM3Leon モデルが他のモデルよりもはるかに少ないトレーニング データと少ないパラメーターでどのようにしてより良い FID スコア (低いほど良い) を取得するかを示しています。これは、計算強度が低いことを示しているのと同じです。
1 つのグラフは、CM3Leon が Nvidia A100 GPU でより少ないトレーニング時間で優れた FID スコアに到達する様子を示しています。
全体像は何ですか? CM3Leon は、単一のプロンプト フレーズを使用して、画像を生成できるだけでなく、指定された画像内のオブジェクトを識別したり、指定された画像からキャプションを生成したり、テキストと画像を調整したり、その他のさまざまなことを行うこともできます。プロンプトに何かを入力するという非常に人気のある習慣が、新しいパラダイムになりつつあることは明らかです。入力という同じジェスチャは、画像、音声、音声など、さまざまな種類のデータを意味する多くの「モダリティ」を伴う多くのタスクに幅広く使用できます。
著者らは次のように結論付けています。「私たちの結果は、広範囲のテキストおよび画像タスクに対する自己回帰モデルの価値を裏付けており、このアプローチのさらなる探求を奨励しています。」