AIは2025年にあなたを億万長者にすることができるのか？
トランスフォーマーの中心にある自己回帰的注意機構やそれに類似したプログラムは、スケーリングの悪夢となります。最近のDeepMind/Googleの研究は、そのようなプログラムをダイエットさせる方法を提案しています。
DeepMindとGoogle BrainのPerceiver ARアーキテクチャは、入力と出力の組み合わせ的性質を潜在空間に計算するタスクを簡素化しますが、潜在空間には典型的なTransformerの自己回帰的順序を追加するための「因果マスキング」があるというひねりがあります。
人工知能の非常に人気のある深層学習分野の驚くべき側面の一つは、プログラムのサイズがますます大きくなっていることです。この分野の専門家は、計算タスクは規模が重要であるため、ますます大きくなる運命にあると言っています。
そのようなますます大きなプログラムはリソースを大量に消費し、これは社会における深層学習の倫理において重要な問題であり、ネイチャーなどの主流の科学雑誌の注目を集めているジレンマです。
だから、効率という言葉が出てくるときはいつでも興味深いのです。つまり、「このAIプログラムをもっと効率的にできるでしょうか？」ということです。
DeepMindとGoogleのBrain部門の科学者たちは最近、昨年導入したニューラルネットワークであるPerceiverを適応させ、コンピューターの電力要件をより効率的にしました。
新しいプログラム、Perceiver ARは、増加する深層学習プログラムの「自己回帰」側面にちなんで名付けられました。自己回帰は、機械が出力をプログラムへの新しい入力として使用する技術であり、複数の要素がどのように相互に関連しているかの注意マップを形成する再帰的な操作です。
トランスフォーマーは、2017年にGoogleが導入した非常に人気のあるニューラルネットワークで、この自己回帰的な側面を持っています。そして、それ以降の多くのモデルも同様で、GPT-3やパーセプティバーの最初のバージョンが含まれます。
Perceiver ARは、3月に導入されたPerceiverの第2版であるPerceiver IOに続き、今月で1年前に登場した元のPerceiverに続いています。
元の知覚者の革新は、トランスフォーマーを取り入れ、特定の種類の入力に制限されるのではなく、テキスト、音、画像など、あらゆる種類の入力<&47;em>を柔軟な形で消費できるように調整することでした。通常、特定の種類の入力に対しては別々の神経ネットワークが開発されます。
Perceiverは、異なる入力のモダリティや異なるタスクドメインを混合するために自己回帰的注意メカニズムを使用するプログラムの増加する数の一つです。他の例としては、GoogleのPathways、DeepMindのGato、Metaのdata2vecがあります。
そして、3月に、Perceiverを構築したアンドリュー・イェーグルと同僚のチームが「IO」バージョンを発表しました。これは、Perceiverの出力を強化し、分類だけでなく、テキスト言語出力、光学フローフィールド、視聴覚シーケンス、記号的無秩序集合など、さまざまな構造の出力を実現しました。さらに、ゲーム「StarCraft II」での動きも生成できます。
現在、論文「汎用的な長文コンテキスト自己回帰モデルによるPerceiver AR」で、ジャグルとチームは、モデルがそのマルチモーダルな入力と出力タスクにおいてますます野心的になるにつれて、どのようにスケールすべきかという問題に直面しています。
問題は、トランスフォーマーの自己回帰的な特性と、入力から出力への注意マップを構築する他のプログラムが、数十万の要素にわたる分布の観点から膨大なスケールを必要とすることです。
それが注意のアキレス腱であり、注意マップを構成する確率分布を組み立てるために、あらゆることに注意を向ける必要があるということです。
ジャグルとチームが言うように、入力内で互いに比較しなければならないものの数が増えるにつれて、計算の観点からはスケーリングの悪夢になります。
この種の長文で文脈に基づく構造とトランスフォーマーの計算特性との間には緊張があります。トランスフォーマーは、入力に対して自己注意操作を繰り返し適用します。これにより、計算要件は入力の長さに対して二次的に、モデルの深さに対して線形的に増加します。入力データが長くなるにつれて、それを観察するためにより多くの入力トークンが必要になり、入力データのパターンがより微妙で複雑になるにつれて、結果としてのパターンをモデル化するためにより深さが必要になります。計算上の制約は、トランスフォーマーのユーザーに対して、モデルへの入力を切り詰める（多くの種類の長距離パターンを観察できなくなる）か、モデルの深さを制限する（複雑なパターンをモデル化するために必要な表現力を奪う）ことを強います。
元のパーセプターは、入力の潜在表現に対して注意を行うことで、トランスフォーマーよりも効率を向上させました。これにより、「大きな入力配列を処理するための計算要件を、ネットワークを非常に深くするために必要な要件から切り離す」効果がありました。
Perceiver ARの標準トランスフォーマーディープネットワークと強化されたトランスフォーマーXLとの比較。
入力の表現が圧縮される潜在部分は、注意のためのより効率的なエンジンのようになり、「深層ネットワークにおいて、自己注意スタックは計算の大部分が行われる場所である」となり、無数の入力に対して操作するのではありません。
しかし、課題は、知覚者がトランスフォーマーのように出力を生成できないということです。なぜなら、その潜在表現には順序の感覚がなく、順序は自己回帰において不可欠だからです。各出力は、それ以前に何があったかの産物であるべきであり、後からではありません。
「しかし、各モデルの潜在変数が位置に関係なくすべての入力に注意を払うため、知覚者は自己回帰生成に直接使用することはできません。自己回帰生成では、各モデルの出力がシーケンス内でそれに先行する入力のみに依存する必要があります」と彼らは書いています。
Perceiver ARを使用することで、チームはさらに一歩進み、自己回帰機能を持たせるためにPerceiverに順序<&47;em>を挿入します。
鍵は、入力の「因果マスキング」と呼ばれるものであり、「クロスアテンション」が行われ、潜在表現において、プログラムが特定のシンボルの前にあるものだけに注意を向けるように強制することです。このアプローチは、トランスフォーマーの方向性の特性を回復しますが、はるかに少ない計算で実現します。
その結果、トランスフォーマーが多くの入力に対して行うことができる能力が得られましたが、パフォーマンスは大幅に向上しています。
"Perceiver ARは、合成コピータスクにおいて、少なくとも100,000トークンの距離で長いコンテキストパターンを完璧に認識することを学ぶことができる"と彼らは書いています。一方、トランスフォーマーには2,048トークンの厳しい制限があり、より多くのトークンはより長いコンテキストを意味し、プログラムの出力の洗練度が向上するはずです。
Perceiver ARは、「広く使用されているデコーダー専用のTransformerおよびTransformer-XLアーキテクチャと比較して効率が向上し、テスト時にターゲット予算に合わせて使用する計算量を変える能力を持つ」と述べています。
具体的には、Perceiver ARを計算するための壁時計時間は、同じ量の注意に対して劇的に短縮され、同じ計算予算でより多くのコンテキスト—より多くの入力シンボル—を得る能力があると彼らは述べています。
トランスフォーマーは、6層のみであっても、コンテキストの長さが2,048トークンに制限されています。より大きなモデルやより大きなコンテキストの長さは、あまりにも多くのメモリを必要とします。同じ6層の構成を使用することで、トランスフォーマーXLのメモリを合計コンテキスト長8,192にスケールできます。パーセプターARは65kのコンテキスト長にスケールし、さらなる最適化により100kを超えるコンテキストにスケールできます。<&47;em>
すべては計算の柔軟性を意味します："これにより、テスト時に特定のモデルにどれだけの計算が使用されるかをよりコントロールでき、速度とパフォーマンスのトレードオフをスムーズに行うことができます。"
このアプローチは、ジャグルと同僚が述べているように、単語の記号だけでなく、画像のピクセルなど、あらゆる入力タイプに使用できる。
同じ手順は、マスキングが適用される限り、順序付け可能な任意の入力に適用できます。例えば、画像のRGBチャンネルは、各ピクセルのR、G、Bカラーチャンネルを順番にデコードすることによって、ラスタースキャン順に並べることができます。
著者たちは、Perceiverが大きな可能性を秘めていると考えており、「Perceiver ARは汎用の長文自己回帰モデルの良い候補である」と記述しています。
ただし、コンピュータの効率要因には追加の波紋があります。著者たちは、最近のいくつかの試みが、自動回帰的注意の計算予算をスリム化するために「スパース性」、つまりどの入力要素に重要性を与えるかを制限するプロセスを使用していると指摘しています。
同じ壁時計の時間で、Perceiver ARは同じ数の層を通して入力からより多くのシンボルを処理することができるか、同じ数の入力シンボルを処理しながら必要な計算時間を短縮することができます。この柔軟性は、著者たちが大規模ネットワークにおける効率性向上の一般的なアプローチになり得ると考えています。
それにはいくつかの欠点があり、主にあまりにも堅固であることです。「スパース性を利用する方法の欠点は、このスパース性が手動で調整されるか、しばしばドメイン特有で調整が難しいヒューリスティックで作成されなければならないことです」と彼らは書いています。それには、OpenAIとNvidiaの2019年の「スパーストランスフォーマー」のような取り組みが含まれます。
「対照的に、私たちの研究は注意層に手作りのスパースパターンを強制するのではなく、ネットワークがどの長いコンテキスト入力に注意を払い、ネットワークを通じて伝播させるかを学ぶことを許可します」と彼らは書いています。
「シーケンス内のポジション数を減らす初期のクロスアテンド操作は、学習されたスパース性の一形態と見なすことができます」と彼らは付け加えます。
このように学習されたスパース性は、今後数年の深層学習モデルのツールキットにおいて強力なツールとなる可能性があります。