AIデータセンターは「驚くほど大きく」なっています。
メタの音声、テキスト、画像のための一般的なネットワークが戻ってきましたが、今回は学習速度を上げるためのいくつかのトリックを備えています。
MetaのData2vecは、異なるモダリティのデータの例を処理するために同じコードを使用できる一般的なニューラルネットワークの一例であり、この場合、音声、テキスト、画像を扱い、そのデータに関する予測を行います。
ニューラルネットワークで自分の主張を証明したとき、あなたは何をしますか？
もっと早くやれが一つの答えです。
火曜日に、Facebook、Instagram、WhatsAppの所有者であるMetaは、今年初めに導入されたニューラルネットワークの改良版であるData2vec 2.0を発表しました。このネットワークは、テキスト、画像、音声データを含むタスクに対して同じ基本的アプローチで機能する一般的なモデルとして振る舞います。
2回目の試みで、Metaの科学者たちはプログラムをより速くし、いくつかのケースでは機械学習タスクのベンチマークテストでより正確にしました。
「Data2vec 2.0は、自己教師あり学習のトレーニング速度が、下流タスクの精度を損なうことなく大幅に改善できることを示しています」と、元のData2vec論文の著者の一人であるアレクセイ・バエフスキー、アラン・バブ、ウェイ・ニン・シュー、マイケル・アウリの4人が、arXivに投稿された新しい研究「視覚、音声、言語のための文脈化されたターゲット表現を用いた効率的な自己教師あり学習」において述べています。
この第二のData2vecの唯一の成果は、Data2vecのトレーニングにかかる時間を短縮することです。ニューラルネットのトレーニングは通常「エポック」で測定され、これはニューラルネットにトレーニング例が与えられる回数を意味します。また、開始から終了までの実際の時間、つまり時間、分、日で測定することもできます。
「実験により、Data2vec 2.0は多くの人気のある既存のアルゴリズムと同じ精度に達することができ、トレーニング速度は2〜16倍であることが示されています」と彼らは書いています。
Data2vecという名前は、2013年にGoogleで開発された言語「埋め込み」のプログラムWord2vecの名前をもじったものです。そのプログラムは、単語がどのように集まるかを予測し、Word2vecは特定のタイプのデータ、つまりその場合はテキストのために設計されたニューラルネットワークを代表しています。
しかし、Data2vecの場合、バエフスキーと同僚たちは、2017年にグーグルのアシシュ・ヴァスワニとその同僚によって開発されたトランスフォーマーと呼ばれるニューラルネットワークを取り、それを複数のデータタイプに使用できるように拡張しています。このニューラルネットワークの同じ構造は、画像、音声、テキストのすべてを特定の特性に合わせて変更することなく訓練することができ、一般的なプログラムとなっています。
バエフスキーと同僚たちは、トランスフォーマーを「自己教師あり」学習と呼ばれるものに拡張します。自己教師ありの設定では、ニューラルネットワークは、複数の段階を通過し、その結果が互いに比較されることによって訓練されます。
まず、ネットワークはデータサンプルを圧縮し、入力データの表現を構築することとして知られています。次に、ネットワークの2番目のバージョンは、いくつかの入力データ項目を「マスクアウト」し、明らかにされていない状態にします。これにより、最初のバージョンのネットワークが構築した表現を再構築する必要があり、2番目のネットワークはデータがどのように組み合わさるかのより良いモデルを構築することを強いられ、実質的に空白を埋めることになります。
2つのネットワーク、すなわち完全でマスクされていない入力データの圧縮表現を持つものと、それを完成させようとしている不完全なバージョンを持つものは、それぞれ教師と生徒と呼ばれます。生徒ネットワークは、マスキングにもかかわらず教師がすでに達成したものを再構築することで、データに対する感覚を発展させようとします。
「トランスフォーマーベースのデコーダーの代わりに、より小型の畳み込みデコーダーを使用します。これがより簡単で速くトレーニングできることがわかりました」と彼らは書いています。
2回目の変更では、教師ネットワークで圧縮表現を繰り返し作成する代わりに、新しいData2vecは表現を1回だけ作成します。そして、それをマスクされたデータポイントごとに推測すべき対象として再利用します。
著者たちが述べているように、「教師モデルの計算コストを償却するために、トレーニングサンプルの複数のマスクされたバージョンに対して教師の表現を再利用します。」
具体的には、トレーニングサンプルのM種類の異なるマスクされたバージョンを考慮し、同じターゲット表現に対する損失を計算します。
Data2vec 2.0のアーキテクチャ。Metaは今回はプログラムの第二部を、トランスフォーマーに基づくデコーダーから、古い技術である畳み込みニューラルネットワークに基づくデコーダーに置き換えました。また、彼らは「教師」ネットワークの圧縮された表現を、「学生」ネットワークのデータの複数のマスクされたインスタンスの単一のターゲットとして再利用しました。
論文の結果セクションで、バエフスキーとチームは、画像認識、音声認識、自然言語処理の3つの領域すべてで、トレーニング時間を短縮し、精度を向上させた方法を述べています。
画像処理のために、著者たちはデータ2vecを基にして「ViT」、すなわち「ビジョントランスフォーマー」を微調整しました。これは、昨年アレクセイ・ドソビツキーとGoogleの同僚によって導入された、視覚タスク専用に設計されたニューラルネットワークです。データ2vecプログラムは事前に訓練された基盤であり、その上にViTが微調整されるというのが文献の用語です。
1月の結果と比較して、Data2vecを支えたViTは、画像にラベルを付ける古典的なテストであるImageNetにおける精度の面で再び他のニューラルネットワークを上回り、Data2vecの以前のバージョンも上回りました。
しかし、精度に加えて、新しいData2vecははるかに少ないトレーニングエポックを必要としました。以前のData2vecは800エポックを要しましたが、今回は150エポックに減少しました。そして、競合する自己教師ありネットワークであるマスク付きオートエンコーダー（MAE）と比較すると、トレーニングは1,600エポックから100エポックに削減され、新しいData2vecの精度はMAEを上回りました。より速いトレーニングレジメンは、トレーニングにかかる絶対時間を大幅に削減し、Data2vec 2.0はわずか66時間で、MAEは113.6時間かかります。
音声認識において、タスクは話されたフレーズの音声ファイルのスニペットの欠落部分を埋めることです。新しいData2vecは、元のdata2vecやWav2vec、HuBERT、WavLMと呼ばれるプログラムを含む、音声用の複数の競合するニューラルネットワークと対抗しました。Data2vec 2.0がこれらのネットワークに勝ったケースはありませんが、"他のモデルよりも高速なトレーニング時間でより高い精度を得る"ことができます。例えば、Data2vec 2.0は43時間のトレーニングで、元のData2vecには57時間必要な精度に達します。
第3のアリーナである自然言語処理において、Data2vec 2.0は、2019年にNYUのカウラント数学科学研究所によって開発された一般言語理解評価フレームワーク（GLUE）を含むさまざまな課題に対してテストされました。
あるテストでは、ネットワークは文が別の文から論理的に導かれるかどうかを予測しなければならず、別の代表的なタスクでは、ネットワークがフレーズが文法的に正しいかどうかをラベル付けすることに挑戦します。
オリジナルのData2vec、さらに2つのTransformerベースのプログラム、GoogleのBERTと、2019年にワシントン大学のポール・アレンコンピュータサイエンススクールとMetaによって導入された改訂版RoBERTaに対抗して、Data2vecの2.0バージョンはGLUEの結果で優れたスコアを記録し、トレーニングが速くなっています。
この新しいバージョンのGLUEタスク全体の平均精度スコアは82.6で、元のData2vecの82.7をわずかに下回っていますが、BERTの81.2やRoBERTaの82.5よりは高いです。しかし、Data2vec 2.0はそのレベルに達するのにわずか28.2時間しかかからず、元のData2vecの69時間の半分以下であり、RoBERTaの50.5時間よりもはるかに短いです。
バエフスキーとそのチームは、将来的に音声、画像、テキストを超えた他のデータ形式にData2vecを拡張することを記しており、さらに一般的なものになる可能性があることを示唆しています。
1つの制限は、依然として存在する可能性が高いようです。元のData2vecと同様に、2.0バージョンもトレーニング中にネットワークに最初に入力される際に、各データタイプを異なる方法で処理しています。つまり、Data2vecはまだデータタイプを処理する完全に一般的な方法を開発していないということです。
画像、音声、テキストはすべてデータの前処理によって準備されます。そのようにして、ネットワークのマルチモーダルな側面は、データに関する手がかりに依存しており、チームが「小さなモダリティ特有の入力エンコーダー」と呼ぶものです。
さらに、教師ネットワークからの各圧縮エンコーディングは、3つのデータタイプごとに別々に作成されます。一度にすべてのデータタイプを1つの表現に統合する「スーパーエンコーディング」を作成する能力はまだありません。
そして、Data2vec 1.0と同様に、真に「すべてを支配する一つのネットワーク」となるかもしれないニューラルネットワークは、未来の技術として残ります。
元のData2vecと同様に、MetaはGitHubにコードを公開しました。