OpenAIは、ニューラルネットを訓練するためにMinecraftゲーマーにUpworkで16万ドルを費やしました。

この作業の目的は、インターネット上の膨大なデータを利用してあらゆる種類のコンピュータタスクを実行できる汎用コンピュータ「エージェント」を訓練する方法を見つけることです。

Minecraftでダイヤモンドのツルハシを作るVPTの動画から。コンピュータプログラムは、熟練した人間プレイヤーが行うのにかかる時間の半分、10分でその偉業を達成しました。

マインクラフトで「ダイヤモンドツール」を習得することはどれほど重要でしょうか？

OpenAIによると、人工知能スタートアップにとって重要な額は16万ドルである。

それは、OpenAIのチームが、オンライン求人プラットフォームUpworkでMinecraftのプレイヤーを雇うために費やした金額であり、ゲームをプレイしている自分自身の動画を提出するためのものである。

VPTと呼ばれるニューラルネットワークの構築作業は、2つの段階で行われました。最初の段階では、4,500時間のゲームプレイを集めた人間のゲームプレイヤーや契約者が必要でした。研究者たちは後に、実際には約2,000時間だけが必要であることを理解しました。

ベイカーとチームはそのプロセスを説明します。

私たちは1日間応募を受け付け、その後、最初の契約者のラウンドのために10人の応募者をランダムに選びました。プロジェクトの後半では、より多くのデータが必要になり、一部の契約者が契約の終了を求めたため、元のプールからさらに応募者を追加し、現在働いている契約者からの紹介も受け入れました。契約者には1時間あたり20ドル（Upworkプラットフォーム手数料と適用税を差し引いた額）が支払われました。この論文で示されているすべての結果は、約4,500時間のデータに基づいており（トレーニングに使用されなかった人間のプレイの統計を収集するために記録されたデータを含む）、私たちには約90,000ドルの費用がかかりました。プロジェクトの過程で、レコーダーのバグのために使用しなかったデータや、最終的に追求しなかったいくつかのアイデアを収集しました。 プロジェクト全体で、契約者の報酬に約16万ドルを費やしました。しかし、セクション4.6で議論するように、2000ドル相当のデータのみを使用して訓練されたIDMで、ほとんどの結果を得ることができるでしょう。つまり、基盤となるVPTモデル、BCの初期ゲームキーワードデータセットへのファインチューニング、RLのファインチューニング結果です。contractor_houseデータセットの収集には約8000ドルかかりました。約2000時間の契約者データで訓練されたIDMを使用したため、これらの結果に対する契約者データの実際のコストは約4万ドルでした。

その4,500時間の間、彼らはゲームビデオのフレームに「インベントリ」などのアクションのラベルを付け、プレイヤーのオブジェクトのコレクションを確認するために「E」キーを使用し、「スニーク」して現在の方向に「慎重に」移動するためにSHIFTキーを使用しました。これらのアクションは、ゲームプレイの各瞬間にJSONテキスト文字列として記録され、ビデオフレームと共に保存されます。

ラベル付けされたアクションを持つゲームプレイのフレームは、逆動力学モデル（IDM）と呼ばれるニューラルネットを訓練するために使用され、どのアクションがどのフレームに対応するかを学習します。IDMは、ビデオフレームを解析するための3D畳み込みニューラルネットやResNetを含むいくつかの種類のニューラルネットの組み合わせであり、次のビデオフレームを予測するための注意機構を持ついくつかのトランスフォーマーネットワークを使用しています。

そのIDMの訓練された能力は、Webから収集された70,000時間のラベルのないMinecraft映像というはるかに大きなセットに使用されます。IDMは、そのはるかに大きなコレクションに「擬似ラベル」を適用します。言い換えれば、IDMと契約者の料金は、大規模なビデオトレーニングセットをブートストラップする方法です。

VPTのトレーニングプログラム。

著者たちは、請負業者への支払いがどれほど高額に見えても、このアプローチは大きなコスト削減を表していると述べています。もし彼らが70,000時間に相当するウェブ動画の請負業者データを収集しなければならなかった場合、はるかに高額になるでしょう。

"もし、web_cleanと同程度の規模のラベル付き請負業者データセットを安価に収集できるなら、これは重要ではないでしょう。しかし、その規模のデータを収集するには数百万ドルの費用がかかるでしょう。"

著者たちは70,000時間を使用して、動画内のユーザーの行動を模倣するために、トランスフォーマー層で構成された2番目のニューラルネットワークを訓練します。これは「行動クローン」として知られる一般的な手法です。

この作業の目的は、因果関係、意味、および次から次へと必要な関係を持つ行動のシーケンスを含むタスクを解決するために、ラベルのないインターネット上のデータの豊富さを利用できる汎用コンピュータ「エージェント」を訓練する方法を見つけることです。

「この論文で示された結果は、ウェブ上のラベルのないデータの豊富さを連続的な意思決定領域で活用する道を切り開くのに役立ちます」と彼らは書いています。

この作業は、マウスのクリックやその他の人間のオペレーターの操作を必要とする多くのコンピュータタスクに使用できると彼らは示唆しています。

「私たちはMinecraftでのみ実験を行っていますが、VPTは、コンピュータ使用のように大量の自由に利用可能なラベルなしデータが存在する任意のドメインにおいて、困難でありながら一般的な行動の事前学習のための一般的なレシピを提供すると信じています。」

OpenAIは、ラベル付けされていない大量のWebデータに基づいた「事前学習」アプローチを使用する大規模言語プログラムであるGPT-3で最もよく知られています。ある意味で、Minecraftゲームは、ビデオを通じてキャプチャされた連続的なコンピュータタスクの領域における行動の模倣にそのアプローチを拡張しています。

究極の成果は、場合によっては人間が最も難しいタスクの一つであるダイヤモンドのツルハシを取得するために必要な時間を超えることです。

マインクラフトでは、ダイヤモンド製のツールは長持ちし、より多くのダメージを与えることができます。ダイヤモンドのピッケルは、ほとんどのゲーマーにとって特に重要な唯一のツールです。オブシディアンやネザーライトと呼ばれる架空の素材を採掘するにはダイヤモンドのピッケルが必要で、どちらもエンドゲームの活動、例えばエンチャントテーブルやネザーライト装備の作成に重要です。

VPTをトレーニングしてさまざまなMinecraftのタスクを学習させた後、著者たちは「ファインチューニング」アプローチを使用し、強化学習ニューラルネットワークを開発して、通常よりも早い時間でダイヤモンドのピッケルを作成しました。

「RLファインチューニングの有効性を示すために、私たちは新しいMinecraftサバイバルワールドから10分以内にダイヤモンドのピッケルを取得するという難しい目標を選びました」と彼らは書いています。

これは人間にとって難しいことで、通常はそれを行うのに2倍の時間がかかり、できる場合でもそうです。

これを行うには、採掘、インベントリ管理、クラフトテーブルの有無にかかわらずのクラフト、ツールの使用、炉の操作、敵や溶岩などの多くの危険が存在する最深部での採掘など、複雑なスキルを必要とする入手困難なアイテムの一連を取得する必要があります（図6）。難易度を増す要因として、アイテムを落としたり、アイテムを破壊したり、死亡したりすることで進行状況が簡単に失われる可能性があります。ダイヤモンドのピッケルを取得するには、熟練した人間でも20分以上（24,000アクション）かかることが多いです。<&47;em>

契約者データとラベルのない70,000時間のウェブ動画を組み合わせる際、著者たちは攻撃的なコンテンツの可能性を考慮していました。「契約者は理論的にはマインクラフトのオープンワールドの特性を利用して、個人を特定できる情報や攻撃的なコンテンツ（例えば、マインクラフトのブロックを使って自分の名前や攻撃的なメッセージを書き、そのメッセージが見える場所を見つけること）を生成することができる」と彼らは書いていますが、著者が視聴した契約者の動画にはこのようなものは見られませんでした。

「もちろん、私たちはインターネット上のマインクラフトをプレイしている人々の動画を使ってBC（行動クローン）モデルを訓練しています。そして、もしそのような行動がその動画に含まれていれば、私たちのモデルもそれを学ぶ可能性がありますが、そのような行動は十分に稀であると予想しているため、私たちのモデルがそれを再現する可能性は低いでしょう」と彼らは書いています。

そのような一般的なエージェントは次にどこに行くのでしょうか？アイデアは、ダイヤモンドの斧を征服した後、VPTまたはその子孫が、チケットのブーイング、ソーシャルメディアのサーフィン、地図のナビゲートなど、人がマウスとキーボードで行う可能性のあるあらゆることを行うことができるということです。