IBMの産業変革の青写真がAI、5G、そしてコラボレーションをどのように活用しているか

DeepMindのプログラムは一般的なものであり、時間が経つにつれてより大きな計算能力がAIで勝利するという考えをテストするためのものです。

DeepMindの「Gato」ニューラルネットワークは、ブロックを積むロボットアームの制御、アタリ2600ゲームのプレイ、画像のキャプション付けなど、数多くのタスクで優れた性能を発揮します。

世界は、人工知能の深層学習形式による最新のブレークスルーに関する見出しを見ることに慣れています。しかし、GoogleのDeepMind部門の最新の成果は、「多くのことをそこそこのレベルでこなすAIプログラム」と要約できるかもしれません。

DeepMindのプログラムであるGatoは、今週発表され、いわゆるマルチモーダルプログラムとして紹介されました。これは、ビデオゲームをプレイしたり、チャットしたり、作文を書いたり、画像にキャプションを付けたり、ブロックを積むロボットアームを制御したりすることができるものです。これは、複数の種類のデータを扱い、複数の種類のタスクを実行できる1つのニューラルネットワークです。

「1セットの重りを使って、ガトは対話を行い、画像にキャプションを付け、実際のロボットアームでブロックを積み上げ、アタリゲームで人間を上回り、シミュレーションされた3D環境でナビゲートし、指示に従い、さらに多くのことができます」と、主著者のスコット・リードと同僚たちは、Arxivプレプリントサーバーに投稿した論文「一般的なエージェント」で述べています。

ディープマインドの共同創設者デミス・ハサビスはチームを応援し、ツイートで「これまでで最も一般的なエージェントだ!! チームの素晴らしい仕事だ！」と叫びました。

唯一の問題は、ガトーが実際にはいくつかのタスクでそれほど優れていないことです。

一方で、このプログラムはブロックを積み上げるロボットのソーヤーアームを制御する点で専用の機械学習プログラムよりも優れています。他方で、画像に対するキャプションは多くの場合かなり質が低いです。人間の対話者との標準的なチャット対話における能力も同様に平凡で、時には矛盾したり無意味な発言を引き出すことがあります。

そして、アタリ2600ビデオゲームのプレイは、ベンチマークアーケード学習環境で競うように設計されたほとんどの専用MLプログラムのそれを下回っています。

なぜ、いくつかのことをかなりうまく行い、他の多くのことをあまりうまく行わないプログラムを作るのですか？著者によれば、前例と期待があるからです。

より一般的な種類のプログラムがAIの最先端となる前例があり、将来的には増加する計算能力が欠点を補うことが期待されています。

一般性はAIにおいて勝利する傾向があります。著者たちは、AIの学者リチャード・サットンを引用し、「歴史的に、計算を活用するのが得意な一般的なモデルは、最終的により専門的なドメイン特化型アプローチを凌駕する傾向がある」と述べています。

サットンが自身のブログ投稿で書いたように、「70年のAI研究から読み取れる最大の教訓は、計算を活用する一般的な手法が最終的には最も効果的であり、その差は大きいということです。」

リードとチームは正式な論文の中で、「ここでは、一般的に多くのタスクに対応できるエージェントを訓練することが可能であり、この一般的なエージェントは、さらに多くのタスクで成功するために少しの追加データで適応できるという仮説をテストします。」と述べています。

この場合のモデルは、確かに非常に一般的です。それは、GPT-3を含む多くのプログラムの基礎となった、主流の注意ベースのモデルであるトランスフォーマーのバージョンです。トランスフォーマーは、文中の単語など、周囲の要素を考慮して、ある要素の確率をモデル化します。

Gatoの場合、DeepMindの科学者たちは、さまざまなデータタイプに対して同じ条件付き確率検索を使用することができます。

リードと同僚たちがガトの訓練の課題について説明するように、

Gatoのトレーニングフェーズでは、異なるタスクとモダリティからのデータがフラットなトークンのシーケンスに直列化され、バッチ処理され、大規模言語モデルに似たトランスフォーマーニューラルネットワークによって処理されます。損失はマスクされているため、Gatoはアクションとテキストのターゲットのみを予測します。<&47;em>

言い換えれば、Gatoはトークンをチャットの単語であろうとブロック積み上げ演習の移動ベクトルであろうと異なって扱いません。すべて同じです。

ガトートレーニングシナリオ。

リードとチームの仮説の中には、より多くの計算能力が最終的に勝利するという補題が埋め込まれています。現在、ガトはブロックスタッキングを行うソーヤーロボットアームの応答時間に制限されています。11.8億のネットワークパラメータを持つガトは、GPT-3のような非常に大きなAIモデルに比べてはるかに小さいです。ディープラーニングモデルが大きくなるにつれて、推論を行うことは、実世界のロボットの非決定論的な世界で失敗する可能性のあるレイテンシーを引き起こします。

しかし、リードと同僚たちは、AIハードウェアが処理速度を向上させるにつれて、その限界が超えられると予想しています。

「私たちは、実世界のロボットをリアルタイムで制御できるモデルスケールの動作点にトレーニングを集中させています。現在、Gatoの場合は約12億のパラメータです。」と彼らは書いています。「ハードウェアとモデルアーキテクチャが改善されるにつれて、この動作点は自然に実行可能なモデルサイズを増加させ、一般的なモデルをスケーリング法則の曲線の上に押し上げるでしょう。」

したがって、Gatoは、一般的なモデルをますます大きくすることによって、計算のスケールが機械学習の発展の主要なベクトルであり続ける方法のモデルとなっています。言い換えれば、大きいことは良いことです。

Gatoは、パラメータのニューラルネットワークのサイズが増加するにつれて改善します。

著者たちはこれに関するいくつかの証拠を持っています。Gatoは大きくなるにつれて確かに改善されるようです。彼らは、79百万、364百万、そしてメインモデルの1.18十億の3つのモデルサイズに対して、すべてのベンチマークタスクの平均スコアを比較しています。「同等のトークン数に対して、スケールの増加に伴い、パフォーマンスが大幅に向上することがわかります」と著者たちは書いています。

興味深い将来の問いは、一般的なプログラムが他の種類のAIプログラムよりも危険であるかどうかです。著者たちは、まだ十分に理解されていない潜在的な危険が存在するという事実について、論文の中で多くの時間を費やしています。

複数のタスクを処理するプログラムのアイデアは、素人に対して人間の適応性の一種を示唆しますが、それは危険な誤解かもしれません。「例えば、物理的な具現化は、ユーザーがエージェントを擬人化し、システムが故障した場合に誤った信頼を抱くことにつながる可能性があり、悪意のある行為者によって悪用される可能性もあります」とリードとチームは書いています。

「さらに、ML研究では、クロスドメインの知識移転が目標となることがよくありますが、特定の行動(アーケードゲームの格闘など)が間違ったコンテキストに転送されると、予期しない望ましくない結果が生じる可能性があります。」

したがって、彼らは「一般的なシステムが進化するにつれて、知識移転の倫理と安全性に関する考慮事項は、かなりの新しい研究を必要とするかもしれない」と書いています。

（興味深い余談として、Gato論文は、元Google AI研究者のマーガレット・ミッチェルとその同僚によって考案されたリスクを説明するためのスキーム、モデルカードを採用しています。モデルカードは、AIプログラムが何であるか、何をするか、そしてそれがどのように動作するかに影響を与える要因の簡潔な要約を提供します。ミッチェルは昨年、AIに関する倫理的懸念がGoogleのAIリーダーシップと対立した元同僚ティムニット・ゲブルを支持したためにGoogleを追い出されたと述べました。）

Gatoはその一般化傾向において決して独自の存在ではありません。これは一般化の広範な傾向の一部であり、馬力のバケツを使用するより大きなモデルの一部です。世界は昨夏、テキストのトランスフォーマー作業と画像、音、LiDAR空間座標を組み合わせたGoogleの「Perceiver」ニューラルネットワークを通じて、この方向へのGoogleの傾斜を初めて体験しました。

その仲間には、今年Googleの科学者によって導入されたPaLM、Pathways言語モデルがあり、5400億のパラメータを持ち、Googleで発明されたPathwaysと呼ばれる新しい技術を利用して数千のチップを調整します。また、Metaが1月に発表した「data2vec」と呼ばれるニューラルネットワークは、画像データ、音声オーディオ波形、テキスト言語表現をすべて一つにまとめてTransformersを使用しています。

Gatoについての新しい点は、ロボット以外のタスクに使用されるAIをロボティクスの領域に押し込む意図のようです。

Gatoの創造者たちは、Pathwaysの成果や他の一般的なアプローチに注目し、あらゆる種類のタスクを実行できる現実世界で動作するAIの最終的な成果を見ています。

今後の作業では、これらのテキスト機能を一つの完全な一般的エージェントに統合し、さまざまな環境や具現化の中でリアルタイムで行動できるようにする方法を考慮すべきです。

したがって、GatoをAIの最も難しい問題であるロボティクスを解決するための重要なステップと考えることができます。