GoogleのAI動画生成技術はかなりすごいです。自分の目で見てください

Google の AI ビデオ生成モデルである Lumiere を使用すると、簡単なテキスト プロンプトでシームレスでリアルなビデオを作成できます。

2022 年末の DALL-E 2 のリリース以来、テキストから画像へのジェネレーターが大流行しており、多くの有力な競合他社が市場に参入しています。 1 年以上経った今、私たちは AI ビデオ生成という新しいテクノロジーの夜明けを迎えています。

Google Researchは火曜日、テキストプロンプトやその他の画像から非常にリアルなビデオを作成できるテキストからビデオへの拡散モデルであるLumiereに関する研究論文を発表した。

論文によると、このモデルは、「現実的で多様で一貫した動き」を生み出すというビデオ生成合成における重要な課題に取り組むために設計されたという。お気づきかもしれませんが、ビデオ生成モデルでは通常、途切れ途切れのビデオが表示されますが、Google のアプローチでは、以下のビデオに見られるように、よりシームレスな視聴エクスペリエンスが提供されます。

ビデオクリップはスムーズに視聴できるだけでなく、非常にリアルに見えるため、他のモデルよりも大幅にアップグレードされています。 Lumiere は、単一パスを通じてビデオの時間的継続時間を一度に生成する時空 U-Net アーキテクチャを通じてこれを実現します。

このビデオ生成方法は、離れたキーフレームを合成する他の既存のモデルとは異なります。論文によると、このアプローチでは本質的にビデオの一貫性を達成することが困難になります。

Lumiere は、通常の画像ジェネレーターと同様に機能し、テキスト プロンプトからビデオを生成するテキストツービデオや、画像を取得し、それに付随するプロンプトを使用してビデオを生成するイメージツービデオなど、さまざまな入力からビデオを生成できます。写真をビデオで生き生きとさせます。

このモデルは、単一の参照画像を使用して、ユーザー プロンプトを使用してターゲット スタイルでビデオを生成する、様式化された生成を通じてビデオ生成に楽しいひねりを加えることもできます。

ビデオの生成に加えて、このモデルを使用して、特定のプロンプトを反映するようにビデオを変更するさまざまな視覚的様式化、写真の特定の領域をアニメーション化するシネマグラフ、および欠落または損傷した領域を埋める修復を通じて既存のビデオを編集することもできます。ビデオ。

論文の中で Google は、テスターのグループに、視覚的な品質と動きの点で優れていると思われるビデオを選択するよう依頼し、ImagenVideo、Pika、ZeroScope、Gen2 などの他の著名なテキストからビデオへの拡散モデルに対する Lumiere のパフォーマンスを測定しました。どのモデルが各ビデオを生成したかはわかりません。

Google のモデルは、テキストからビデオへの品質、テキストからビデオへのテキストの配置、画像からビデオへの品質など、すべてのカテゴリで他のモデルよりも優れています。

このモデルはまだ一般公開されていません。ただし、さらに詳しく知りたい場合や、モデルの動作を観察したい場合は、Lumiere Web サイトにアクセスしてください。そこでは、さまざまなタスクを実行するモデルのデモが数多く表示されます。