OpenAIのSoraビデオジェネレーターを使って今すぐ始められる3つの収益性の高い副業
このソフトウェアは、「アテンション」という人気のアプローチを使用して、話者の唇と音声波形が以前のアプローチよりもはるかに効率的かつ正確に相互に強化されるように動画を作成します。
「あなたが私の耳に聞こえないようにポッドで非常に徹底した予防策を講じたにもかかわらず、私はあなたの唇が動くのを見ることができました。」
人々が話を聞くのは耳で聞くだけでなく、話者の口の動きから得られる手がかりを拾うことでもあるということは広く知られている事実です。
同様に、視覚的観察と音声を組み合わせることで、コンピュータが人間の言葉をより良く解析できる可能性があります。ある意味では、コンピュータプログラムは口の動きを読むことができますが、それを実現するのは手間のかかる作業です。
最近のMeta（Facebook、Instagram、WhatsAppの親会社）によるAIの研究は、コンピュータが映画「2001年宇宙の旅」でデイビッド・ボウマン博士とフランク・プール博士がポッド内で音声センサーを回避しようとしたときのHAL 9000と同じように口の動きを読むことができる日へのより効率的な道を示唆しています。
先週の金曜日、Metaの人工知能科学者たちは、録画されたビデオの話者の口の動きの言葉を解析するためのソフトウェアを設計するために必要な労力を劇的に削減できた研究報告を発表しました。この研究は、騒音環境における音声認識を意味のある形で改善するために、リップリーディング技術を活用することもできました。
著者は「このプログラムは、話者の音声と画像の両方を使用して人が何を言っているかを理解する最良の音声視覚認識システムよりも75%正確である」と述べています。
もちろん、ここにはメタバースの側面があります。このプログラムは瞬時の翻訳に使用できるだけでなく、いつの日か「仮想現実のアバターにリアルな口の動きを生成するのを助け、世界の反対側にいる人と一緒にいるという真の存在感を提供することができる」と考えられています。
この研究は二つの方向での進展を示しています。一つは自己教師あり学習で、特定の手がかり、例えばテキストの転写を避け、プログラムがデータの中に自発的に構造を見出すことを目指しています。もう一つの開発分野は、異なる種類のデータを相互に強化する形で組み合わせるいわゆるマルチモーダルニューラルネットワークです。
AV-HuBERTと呼ばれるその結果は、「AV」は視聴覚を、「Hu」は「隠れユニット」を意味し、聴覚と視覚の信号を組み合わせて口の動きから言葉を検出します。
主著者のボウエン・シーと同僚のウェイ・ニン・シュー、クシャル・ラコティア、アブデルラフマン・モハメドは、先週の金曜日にarXivプレプリントサーバーに「マスクされたマルチモーダルクラスタ予測による音声視覚表現の学習」という論文を投稿しました。著者たちは、理解しやすいブログ記事も執筆しました。
Shi & Co.が説明するように、以前の研究もマルチモーダルであり、視覚データ、ビデオフレーム、音声データ、波形スニペットを組み合わせて、ニューラルネットワークを訓練し、それらがどのように一致するかを予測しています。
しかし、そのようなプログラムは、スピーカーのビデオをテキスト文に書き起こしたものなど、何らかの追加の準備された手がかりに依存する傾向がありました。新しい研究は自己教師ありのアプローチを採用し、外部の構造なしに自発的にパターンを組み立てています。
著者たちはブログ投稿で「これは、ラベル付けされていないデータ、すなわち既に書き起こされていない生のビデオから、音声と口の動きを共同でモデル化する最初のシステムです」と書いています。
多くの以前のモデルは、単語レベルで注釈されたリップリーディングビデオを使用しており、単語の境界情報が必要なため、収集するのにコストがかかります。これらのモデルとは対照的に、私たちのモデルは提案されたアプローチを使用してゼロから完全に事前トレーニングされています。
彼らが発明したAV-HuBERTプログラムは、昨年Hsuと同僚によって導入された音声専用プログラムHuBERTに基づいています。名前が示すように、HuBERTは2018年にGoogleで開発された双方向トランスフォーマーニューラルネットワークアプローチを使用しています。
音声録音の一部を「マスキング」すること、つまり音声波形のセクションを省略することによって、HuBERTニューラルネットワークはトレーニング段階でどの音声の部分が互いに関連しているかを再構築しなければなりませんでした。
現在、AV-HuBERTでは、シーとチームが人々が話している動画のフレームと音声のビットを「融合」させます。ニューラルネットワークのトレーニングフェーズは、基本的に二つの段階で進行します。まず、元の音声のみのHuBERTのように、注意アプローチを使用して音声をマスクし、その後、音声波形を属性の点で互いに近い例のグループにまとめます。
そのグループは次に神経ネットワークの第2段階のターゲットになります。AV-HuBERTのマルチモーダル部分は、話者の唇の画像と音声波形の両方を同時にマスクし、それらを最初の波で確立されたクラスターに一致させようとします。このようにして、プログラムはどの唇の構成がどの音声波形に対応するかを計算し、口の動きと音声出力の相関関係を「学習」します。
つまり、明示的な手がかりなしに構造を見出す自己教師ありアプローチです。
AV-HuBERTプログラムの構造は、視覚データと音声データが下から入って、最終的な「クラスター」として上に出力される形になっています。
融合は、画像フレームに置かれた注意と音声波形に置かれた注意が相互に強化し、どちらか一方だけでは得られない優れたクラスターを生成することを意味します。それらのクラスターは、リップリーディングや音声認識などの後続のタスクの「ターゲット」となります。
著者たちが説明するように、
AV-HuBERTは、リップムーブメントとオーディオストリームの両方からマスクされていない領域の言語的および音声的情報を同時にキャプチャし、それを潜在表現に取り込み、マスクされた予測タスクを解決するために長期的な時間的関係をエンコードします。<&47;em>
AV-HuBERTがこのように自己学習を行った後、著者たちは実際のラベル付きビデオを数時間分導入し、機械にビデオ内の言葉の位置を示す正式なトランスクリプトを用いてファインチューニングを行います。
AV-HuBERTプログラムのテストとトレーニングに使用される主なデータセットは、2018年にオックスフォードのトリアンタフィロス・アフーラスと同僚によって開発されたLRS3であり、これは「現在までで最大の公開されている文レベルの口の動き読み取りデータセットです。それは、YouTubeのTEDおよびTEDxトークから抽出された400時間以上のビデオで構成されています。」
AV-HuBERTの自己教師あり学習の結果、話者のビデオから単語を予測する能力が、これまでのすべての試みよりも優れていると、シーとその仲間は述べています。
「提案された」Metaシステム、AV-HuBERT、下部、および以前の最高クラスのプログラムに関するリップリーディングのテスト結果。
しかし、生のスコアよりも重要なのは、プログラムをトレーニングするために必要なデータの量が大幅に削減されたことです。
「AV-HuBERTは、従来の最良のアプローチで使用された31,000時間のラベル付きデータの2桁少ない433時間のテキスト転写を使用して、最先端の成果を達成しました」と彼らは書いています。
必要なデータがはるかに少ないため、他の言語に比べてデータがはるかに少ないいわゆる低リソース言語でリップリーディングタスクを行うことが可能です。（例えば、英語、フランス語、ドイツ語以外の言語を考えてみてください。）
著者たちは「将来の研究として、AV-HuBERTはリソースの少ない言語における多言語の口の動きの読み取りに適用できる」と観察し、同じ「アプローチは、音声の強化や生成など、視覚的な音声表現の他のアプリケーションに拡張できる」と述べています。
シーと同僚たちは、先週投稿された2番目の論文で、AV-HuBERTを自動音声認識に使用する方法を説明し、彼らの発見を追加しました。ここでは、ノイズの文脈における音声のより良い解析方法に焦点を当てています。
会議シナリオで展開される音声認識は雑音の影響を受ける一方、家庭環境で使用されるものは音楽、料理、掃除機の音などに自然に遭遇します。彼らの問いは、そのような環境音がAV-HuBERTによって克服できるかどうかです。
トレーニング中、シーとチームはAV-HuBERTのビデオフレームと音声波形サンプルにノイズクリップを混ぜます。その結果、プログラムは雑音をうまく回避する能力が向上します。そのため、AV-HuBERTは以前の音声認識システムに対して、単語誤り率（WER）、すなわち誤った単語の割合が50％減少します。
「私たちの今後の作業には、実世界のリソースが限られた多言語環境における音声視覚認識の適用が含まれます」と彼らは書いています。
では、HAL 9000の口の動きを読む能力はどれほど現実的なのでしょうか？最近のAIの研究において、AIが口の動きを読む能力で人間を上回っているという考えが書かれています。AV-HuBERTの最高の結果における単語誤り率は、実際には人間のプロの口の動きを読む専門家よりもはるかに優れており、26.9%です。どうやら、最も優れた人間の口の動きを読む専門家でも、正解率はわずか40%（10回中4回間違える）に過ぎません。明らかに、事後に講演を文字起こしするようなことにおいて、これはソフトウェアプログラムにとって大きな助けとなるでしょう。
しかし、実際には大きな注意点があります。これは本当にリップリーディングをシミュレートしているのです。AV-HuBERTの結果は、ボウマンとプールの映画の中でのライブで自由な会話ではなく、録画されたビデオに関するテストを通過します。
今のところ、あなたはポッドの中でまだ安全かもしれません。