AI が生成したコードに欠陥があった場合、最も責任を負うのは誰でしょうか?
ハイエナ コードは、GPT スタイルのテクノロジがメモリ不足で失敗するような大量のデータを処理できます。
スタンフォード大学と MILA のハイエナ階層は、デジタル画像内の単語やピクセルなど、データ項目を関連付けるテクノロジーです。このテクノロジーは、ベンチマーク AI タスクにおいて、大規模言語モデルの既存の「ゴールド スタンダード」である「アテンション」メカニズムと同等の精度を達成できますが、計算能力はわずか 100 分の 1 です。
OpenAI の ChatGPT として知られるチャットボット AI プログラムとその後継テクノロジーである GPT-4 に対する熱狂にもかかわらず、これらのプログラムは結局のところ単なるソフトウェア アプリケーションです。また、すべてのアプリケーションと同様に、パフォーマンスが最適化されない可能性がある技術的な制限があります。
3月に発表された論文の中で、スタンフォード大学とカナダのMILA AI研究所の人工知能（AI）科学者らは、膨大な量のデータを飲み込む際にGPT-4やそれに類するものよりもはるかに効率的である可能性がある技術を提案した。それを答えに変えるのです。
ハイエナとして知られるこのテクノロジーは、わずかなコンピューティング能力を使用しながら、質問応答などのベンチマーク テストで同等の精度を達成できます。場合によっては、Hyena コードは、GPT スタイルのテクノロジが単にメモリ不足になって失敗するような大量のテキストを処理できます。
「10億未満のパラメータスケールでの我々の有望な結果は、我々が必要とするのは注意だけではないかもしれないことを示唆している」と著者らは書いている。この発言は、2017 年の画期的な AI レポートのタイトル「必要なのは注意だけ」に言及しています。その論文の中で、Google の科学者 Ashish Vaswani 氏と同僚は、Google の Transformer AI プログラムを世界に紹介しました。 Transformer は、最近の大規模な言語モデルすべての基礎となりました。
しかし、トランスフォーマーには大きな欠陥があります。これは「注意」と呼ばれるものを使用し、コンピューター プログラムが単語などの 1 つの記号グループ内の情報を取得し、その情報を新しい記号グループ (出力である ChatGPT から表示される回答など) に移動します。
そのアテンション操作 (ChatGPT や GPT-4 を含むすべての大規模言語プログラムの必須ツール) には、「二次」の計算量があります (Wiki のコンピューティングの「時間計算量」)。この複雑さは、ChatGPT が応答を生成するのにかかる時間が、入力として供給されるデータ量の 2 乗に応じて増加することを意味します。
ある時点で、データが多すぎる場合、つまりプロンプト内の単語が多すぎる場合、またはプログラムとの何時間にもわたるチャットによる会話の文字列が多すぎる場合は、プログラムが応答を提供するのに行き詰まってしまうか、応答を返さなければならないかのどちらかです。より高速に動作するために、ますます多くの GPU チップが搭載され、コンピューティング要件が急増しています。
arXiv プレプリント サーバーに投稿された新しい論文「ハイエナ階層: より大きな畳み込み言語モデルに向けて」では、主著者であるスタンフォード大学の Michael Poli 氏とその同僚が、Transformer の注意関数を二次二次関数で置き換えることを提案しています。 つまりハイエナです。
著者は名前について説明していませんが、「ハイエナ」プログラムの理由はいくつか想像できます。ハイエナはアフリカに生息し、何マイルにもわたって狩りをすることができる動物です。ある意味、非常に強力な言語モデルは、栄養を求めて何マイルも探し回るハイエナのようなものかもしれません。
しかし、タイトルが示すように、著者らは本当に「階層」に関心を持っており、ハイエナの家族には厳格な階層があり、それによって地元のハイエナ一族のメンバーが優位性を確立するさまざまなレベルの階級を持っています。同様の方法で、ハイエナ プログラムは、ご覧のとおり、一連の非常に単純な操作を何度も繰り返し適用し、それらを組み合わせて一種のデータ処理階層を形成します。この組み合わせ要素が、このプログラムにハイエナという名前を与えています。
この論文の寄稿者には、コンピューティング界のノーベル賞に相当する2019年チューリング賞受賞者であるMILA科学部長ヨシュア・ベンジオ氏など、AI界の著名人も含まれている。ベンジオは、バスワニとチームがトランスフォーマーにアテンション メカニズムを適応させるずっと前に、アテンション メカニズムを開発したことで広く知られています。
著者の中には、近年「ソフトウェア 2.0」としての AI の概念の推進に貢献しているスタンフォード大学コンピューターサイエンス准教授のクリストファー・レ氏もいます。
注意に代わる二次二次関数を見つけるために、ポリとチームは、注意のメカニズムがどのように機能しているのかを研究し、その作業をより効率的に実行できるかどうかを確認することに着手しました。
機械的解釈可能性として知られる AI 科学の最近の実践は、ニューラル ネットワークの奥深く、注意の計算「回路」の内部で何が起こっているかについての洞察をもたらしています。ソフトウェアを分解することは、時計や PC を分解して部品を確認し、どのように動作するかを理解するのと同じように考えることができます。
Poli 氏とチームが引用した研究の 1 つは、AI スタートアップ Anthropic の研究者 Nelson Elhage による一連の実験です。これらの実験では、Transformer プログラムを分解して、attention が何をしているかを確認します。
本質的に、エルハージとチームが発見したのは、最近の入力から単語をコピーして出力に貼り付けるなど、非常に単純なコンピューター操作によって、最も基本的なレベルで注意が機能するということです。
たとえば、ChatGPT などの大規模な言語モデル プログラムに、「ダーズリー氏はグランニングスという会社のディレクターでした…」など、『ハリー・ポッターと賢者の石』の文を入力し始めると、「D-u-r-s」と入力するだけで、名前の始まりは、プログラムが「Dursley」という名前を完成させるのに十分である可能性があります。なぜなら、プログラムはその名前を賢者の石の前の文で見たからです。システムは、文字「l-e-y」の記録をメモリからコピーして、文を自動補完することができます。
ただし、単語の量がますます増加するにつれて、注意演算は 2 次複雑さの問題に遭遇します。単語が増えると、アテンション操作を実行するために、より多くの「重み」またはパラメータが必要になります。
著者らは次のように書いています。「Transformer ブロックはシーケンス モデリングのための強力なツールですが、制限がないわけではありません。最も注目すべき点の 1 つは計算コストであり、入力シーケンスの長さが増加するにつれて急速に増大します。」
ChatGPT と GPT-4 の技術的な詳細は OpenAI によって明らかにされていませんが、それらには 1 兆以上のそのようなパラメータがある可能性があると考えられています。これらのパラメーターを実行するには、Nvidia のより多くの GPU チップが必要となるため、コンピューティング コストが増加します。
この二次計算コストを削減するために、Poli 氏とチームはアテンション演算を「畳み込み」と呼ばれるものに置き換えました。これは AI プログラムの中で最も古い演算の 1 つであり、1980 年代に洗練されました。コンボリューションは、デジタル写真のピクセルであれ、文章の単語であれ、データ内の項目を選択できるフィルターにすぎません。
Poli とチームは一種のマッシュアップを行っています。彼らは、単語のシーケンスに畳み込みフィルターを適用するためにスタンフォード大学の研究者であるダニエル Y. フーとそのチームが行った研究を取り入れ、それを学者のデビッド ロメロとアムステルダム自由大学の同僚の研究と組み合わせています。これにより、プログラムはフィルター サイズをその場で変更できるようになります。柔軟に適応できる機能により、プログラムに必要なコストのかかるパラメータ、つまり重みの数が削減されます。
ハイエナは、ニューラル ネットワーク パラメーターの大幅な増加を招くことなく、相互に構築されるフィルターの組み合わせです。
マッシュアップの結果、より多くのデータをコピーするためにより多くのパラメーターを必要とせずに、無制限の量のテキストに畳み込みを適用できるようになります。著者が言うように、これは「注意を払わない」アプローチです。
「ハイエナのオペレータは、大規模な注意を払って品質のギャップを大幅に縮小することができ、より少ない計算予算で同等の複雑さと下流のパフォーマンスを達成できる」とポリ氏とチームは書いている。 Perplexity は、ChatGPT などのプログラムによって生成される答えがどれほど洗練されているかを指す専門用語です。
ハイエナの能力を実証するために、著者らは言語プログラムがさまざまな AI タスクでどれだけ優れているかを判断する一連のベンチマークに対してプログラムをテストします。
テストの 1 つは、非営利の AI 研究団体である Eleuther.ai によって 2020 年にまとめられた 825 ギガバイトのテキスト コレクションである The Pile です。テキストは、PubMed、arXiv、GitHub、米国特許庁などの「高品質」ソースから収集されているため、ソースは、たとえば単なる Reddit の議論よりも厳密な形式になっています。
このプログラムの主な課題は、入力として新しい文が与えられたときに次の単語を生成することでした。 Hyena プログラムは、2018 年の OpenAI のオリジナル GPT プログラムと同等のスコアを達成することができ、コンピューティング操作は 20% 削減されました。操作が少なく「GPT の品質に匹敵する初のアテンションフリーの畳み込みアーキテクチャ」であると研究者らは書いています。
Hyena は、OpenAI のオリジナル GPT プログラムと同等のコンピューティング操作を 20% 削減することができました。
次に著者らは、ニューヨーク大学、Facebook AI Research、GoogleのDeepMind部門、ワシントン大学の学者らが2019年に導入したSuperGLUEとして知られる推論タスクでプログラムをテストした。
たとえば、「私の体が草に影を落とした」という文と、その原因として「太陽が昇っていた」または「草が刈られた」という 2 つの選択肢が与えられ、どちらかを選ぶように求められた場合、プログラムは、適切な出力として「太陽が昇っていました」を生成する必要があります。
ハイエナ プログラムは、複数のタスクにおいて、半分未満の量のトレーニング データでトレーニングされたにもかかわらず、GPT のバージョンと同等かそれに近いスコアを達成しました。
さらに興味深いのは、作成者が入力として使用するフレーズの長さを増やしたときに何が起こったかです。単語が増えるほど、パフォーマンスが向上します。単語と考えることができる 2,048 個の「トークン」があるため、ハイエナは、注意アプローチよりも言語タスクを完了するのに必要な時間が短くなります。
著者らは、64,000 トークンで「ハイエナのスピードアップは 100 倍に達する」、つまり 100 倍のパフォーマンス向上であると述べています。
Poli氏とチームは、ハイエナで単に異なるアプローチを試みただけではなく、「二次関数の壁を打ち破り」、プログラムが結果を計算する難しさの質的な変化を引き起こしたと主張している。
彼らは、将来的には品質に大きな変化が起こる可能性があることを示唆しています。「二次関数の壁を打ち破ることは、教科書全体をコンテキストとして使用したり、長編音楽を生成したり、ギガピクセルスケールの画像を処理したりするなど、深層学習の新たな可能性に向けた重要なステップです。 」と彼らは書いている。
著者らは、ハイエナが何千、何千もの単語にまたがるフィルタをより効率的に使用できるということは、言語プログラムに対するクエリの「コンテキスト」に事実上制限がないことを意味していると書いています。事実上、何マイルも探し回るハイエナのように、現在の会話の流れから遠く離れたテキストや以前の会話の要素を思い出すことができます。
「ハイエナのオペレーターは無制限のコンテキストを持っています」と彼らは書いています。 「つまり、局所性などによって人為的に制限されることはなく、[入力] の要素間の長距離依存関係を学習できます。」
さらに、このプログラムは、単語だけでなく、画像やビデオや音声など、さまざまなモダリティのデータにも適用できます。
論文に示されているハイエナ プログラムは、GPT-4 や GPT-3 と比べてもサイズが小さいことに注意することが重要です。 GPT-3 には 1,750 億のパラメータまたは重みがありますが、Hyena の最大バージョンには 13 億のパラメータしかありません。したがって、ハイエナが GPT-3 または 4 との完全な直接比較でどれだけうまく機能するかはまだわかりません。
しかし、達成された効率がハイエナ プログラムのより大きなバージョン全体で維持されるのであれば、それは過去 10 年間に注目が集まったのと同じくらい普及する新しいパラダイムになる可能性があります。
Poli 氏とチームは次のように結論付けています。「一連の単純な指針と機構的解釈可能性ベンチマークの評価に基づいた、ハイエナのようなより単純な二次二次設計は、効率的な大規模モデルの基礎を形成する可能性があります。」