Meta、自社の Movie Gen は AI ビデオ生成における「本当の」進歩を示すと発表
競合する世代 AI テクノロジーに対して高いスコアを獲得しているにもかかわらず、ビデオが実際に優れているかどうかを人間がレビューする必要があります。
人工知能 (AI) によって生成されたビデオの増加の流れは、どの程度偽物で、どの程度本物なのでしょうか?
結局のところ、それについては定量的な尺度があることがわかりました。あるいは、ほぼその通りです。人間は依然として、人間の知覚に基づいて、ビデオが良いかどうかを判断する必要があります。
Meta Platforms のオーナーである Mark Zuckerberg 氏は金曜日、テキスト プロンプトから HD ビデオ (解像度 1080p) を生成できる Movie Gen と呼ばれる新しい AI モデルを発表しました。同社は、これらのビデオは、競合技術（OpenAIのSoraテキストからビデオへのモデルなど）によって生成されたビデオよりも平均して「現実的」であると述べている。
また、同期された音声を生成し、人の顔が表示されるようにビデオを調整し、「ペンギンにビクトリア朝の衣装を着せて」などのテキスト プロンプトだけでビデオを自動的に編集して、画面上のペンギンを隠すこともできます。
付属の論文「Movie Gen: A Cast of Media Foundation Models」の中で、メタ AI 研究者は、AI が生成したビデオのリアリズムを人間にどのように評価させたかについて説明しています。
Realness: This measures which of the videos being compared most closely resembles a real video. For fantastical prompts that are out of the training set distribution (e.g., depicting fantasy creatures or surreal scenes), we define realness as mimicking a clip from a movie following a realistic art-style. We additionally ask the evaluators to select a reason behind their choice i.e., "subject appearance being more realistic" or "motion being more realistic".
関連するブログ投稿もあります。
人間によるテストでは、Movie Gen 対 Sora および他の 3 つの著名なテキストからビデオへの AI モデル、Runway Gen3、Lumalabs、および Kling1.5 の勝敗スコアが特定されます。
著者らは、自動化された方法で適切な比較を行うことはまだ不可能だと指摘しています。さらに、「現実性と美学の評価は人間の認識と好みに大きく依存する」と彼らは書いている。
リアリズムだけでなく、ビデオ内のモーションがどれだけ優れているか、アクションの一部がスキップされたり手探りになったりするかどうか、ビデオが入力されたテキスト プロンプトにどれだけ忠実であるかなども、自動化することはできません。彼らは述べている。
「既存の自動化された指標では信頼性の高い結果を提供するのが難しく、人間による評価の必要性がさらに高まっていることがわかりました。」
論文によれば、このベンチマークは「人間が競合する業界モデルに比べて我々のモデルの結果をどのように好むか」を測定し、その結果「純勝率」がパーセンテージで表されるという。
彼らによれば、ソラに対する平均勝率は 11.62% です。他のプレイヤーに対する勝率はかなり高くなります。
「これらの重要な純利益は、物理学を尊重し、適度な大きさでありながら一貫性があり、歪みのない動きで生成されたビデオで現実世界をシミュレートする Movie Gen Video の能力を示しています。」
これらは、Sora とは対照的に、ビデオのサンプル画面キャプチャをいくつか提供しています。著者らの見解では、「OpenAI Sora は、テキスト プロンプトで説明されている動きの詳細が欠けている可能性のある、あまり現実的ではないビデオ (例: 2 行目の漫画っぽいカンガルー) を生成する傾向があります (例: 一番下の非歩行ロボット)行）。"
著者らは、彼らが「基礎モデルのキャスト」と呼ぶものから Movie Gen の AI モデルを構築しました。
トレーニング段階では、モデルがデータのピクセルを効率的に再現することを学習するまで、公開データセットとライセンス供与されたデータセットの混合からの画像とビデオが圧縮される、と著者らは述べています。彼らの用語では、「テンポラル オートエンコーダ (TAE) を使用して、RGB ピクセル空間のビデオと画像を学習された時空間圧縮潜在空間にエンコードし、この潜在空間でビデオを生成する方法を学習します。」
Meta は複数の手順を使用してビデオを生成するだけでなく、同期オーディオ、パーソナライゼーション、およびビデオ編集機能も生成しました。
次に、そのビデオ生成はテキスト入力に基づいて「条件付け」され、モデルがテキスト プロンプトに合わせてビデオを生成できるようになります。
これらの部品を合計すると、300 億個のパラメータを持つモデルになりますが、今日のトレーニング基準からするとそれほど大きくはありません。
「Movie Gen Audio」と呼ばれる 2 番目のニューラル ネットワークは、忠実度の高いオーディオを生成しますが、音声ではなく効果音と音楽に使用されます。これは、130 億のパラメーターを備えた「拡散トランスフォーマー」と呼ばれる既存のアプローチに基づいて構築されています。
これらすべてには多くのコンピューティング馬力が必要です。「6,144 個の H100 GPU、それぞれ 700W TDP で動作し、80GB HBM3 を搭載し、Meta の Grand Teton AI サーバー プラットフォームを使用します。」
Movie Gen が行うことはビデオの生成だけではありません。その後のステップで、著者らはモデルに追加のトレーニングを実施して、個人の顔を強制的にムービーに表示できる「パーソナライズされた」ビデオを作成します。
また、最後のコンポーネントとして、テキスト プロンプトだけでビデオを編集する機能も追加されます。著者らが直面した問題は、「教師付きビデオ編集データの不足によってビデオ編集モデルが妨げられている」ため、AI モデルをトレーニングするための十分な例が存在しないことです。
これを回避するために、チームは Movie Gen AI モデルに戻り、いくつかの手順で修正しました。まず、画像編集のデータを使用して、ビデオのフレーム編集に伴う内容をシミュレートします。彼らはそれを元のテキストからビデオへのトレーニングと同時にモデルのトレーニングに組み込み、AI モデルがビデオの複数のフレームで個々のフレーム編集を調整する能力を開発します。
次の部分では、著者はビデオ、「通りを歩いている人」などのテキストキャプション、および編集されたビデオをモデルに供給し、元のビデオからの変更につながる指示を生成するようにモデルをトレーニングします。編集した動画へ。言い換えれば、AI モデルに指示を変更されたビデオに関連付けるよう強制します。
ビデオ編集機能をテストするために、著者らは Meta の研究者が収集した 51,000 本のビデオに基づいて新しいベンチマーク テストを作成しました。また、編集手順を考え出すためにクラウド ワーカーも雇いました。
ビデオの編集を評価するために、メタ チームは人間のレビュー担当者に、AI モデルで作成されたビデオと既存の最先端技術で作成されたビデオのどちらが優れているかを評価してもらいました。また、自動化された測定を使用して、タスクの前後のビデオを比較しました。
「人間の評価者は、すべてのベースラインよりもかなりの差で Movie Gen Edit を好みます」と著者らは書いています。
これらすべてのステップにおいて、著者らは AI モデルのサイズ、データ、および使用されるコンピューティングの量を調整するという点で画期的な取り組みを行っています。 「フロー マッチングでトレーニングされた単純な Transformer ベースのモデルのトレーニング データ、計算、およびモデル パラメーターをスケーリングすると、ビデオまたはオーディオ用の高品質な生成モデルが得られることがわかりました。」
しかし、人間による評価には落とし穴があることを著者らは認めています。 「人間の評価を使用してモデル世代を評価する客観的な基準を定義することは依然として困難であり、したがって人間の評価は個人的な偏見や背景など、他の多くの要因の影響を受ける可能性があります。」
この論文には、こうした人間の偏見にどう対処するかについては何の示唆もありません。しかし、Meta は、期間は明らかにせずに、他の人が使用できるようにベンチマーク テストをリリースすると述べています。
In order to thoroughly evaluate video generations, we propose and hope to release a benchmark, Movie Gen Video Bench, which consists of 1000 prompts that cover all the different testing aspects summarized above. Our benchmark is more than 3⇥ larger than the prompt sets used in prior work.
同社はまた、いつか自社のビデオを公衆の閲覧に提供すると約束しており、「将来の作品について Movie Gen Video と公平かつ簡単に比較できるようにするため、厳選されていない生成ビデオを Movie Gen Video Bench プロンプト セット用に公開したいと考えています」としている。 。」
Meta 氏によると、Movie Gen モデルはまだ導入されていません。著者らは論文の結論で、AIモデルはすべて「展開する前に複数の改善が必要」だと書いている。たとえば、モデルによって生成されたビデオには、「複雑なジオメトリ、オブジェクトの操作、オブジェクトの物理学、状態変換などの生成または編集されたビデオにアーティファクトが発生するなどの問題がまだ発生しています。」タップダンスの動画など「動きが激しい場合、音声が同期しないことがある」。
これらの制限にもかかわらず、Movie Gen は、いつか完全なビデオ作成および編集スイート、さらにはビデオ ポッドキャストを自分の似顔絵に合わせてカスタマイズすることへの道を暗示しています。