Nvidia がロボットにペンを回すように教えている理由と、生成 AI がどのように役立つのか
Nvidia は GPT-4 を使用して、人間のプログラマーよりも優れた報酬を作り出すことでロボットの強化学習を改善しました。
Nvidia のロボットハンドのシミュレーション。
人工知能の古典的なアプリケーションであるロボット工学の分野は、最近、自然言語ステートメントと対話できる OpenAI の大規模言語モデルなどのプログラムである生成 AI という非常に新しく流行のテクノロジーによって拡大されています。
たとえば、Google の DeepMind 部門は今年、画像とコマンドを提示して行動計画とコマンドを完了するために必要な座標の両方を吐き出すことができる大規模な言語モデルである RT-2 を発表しました。
しかし、生成プログラムには超えられない限界があります。生成プログラムは、ロボットが目的地までのルートを計画するなどの「高レベル」タスクは処理できますが、ロボットの関節を操作するなどの「低レベル」タスクは処理できません。微細なモーター制御を行うロボット。
今月発表された Nvidia の新しい研究は、言語モデルがその溝を越えることに近づいている可能性があることを示唆しています。 Eureka と呼ばれるプログラムは、言語モデルを使用して目標を設定し、その目標を使用してロボットに物体を操作するロボットハンドなどの細かい運動タスクを実行させるなど、低レベルでロボットを指示することができます。
エウレカ プログラムは、ロボット工学のコンピューター シミュレーションの中で動作しているため、分断を越えるにはおそらく多くの努力が必要となるであろう取り組みの最初のものにすぎません。現実世界ではまだ物理的なロボットを制御していません。
「器用なペン回しなど、低レベルの複雑な操作タスクを学習するために[大規模な言語モデル]を利用することは、依然として未解決の問題です」と、筆頭著者のYecheng Jason Ma氏とNvidia大学、ペンシルベニア大学、カリフォルニア工科大学、カリフォルニア大学の同僚は書いている。テキサス州オースティンで、今月 arXiv プレプリント サーバーに投稿された論文「ユリイカ: 大規模言語モデルのコーディングによる人間レベルの報酬設計」。
Nvidia からの関連ブログ投稿もあります。
マー氏とチームの観察は、ロボット工学の長年の研究者の見解と一致しています。カリフォルニア大学バークレー校の電気工学部准教授であるセルゲイ・レバイン氏によると、言語モデルは「ロボットが実際に世界の物体に物理的に触れることに関係する最後の部分」にはあまり適していないという。なぜなら、そのようなタスクには「セマンティクスがほとんど欠けている」からです。
「言語モデルを微調整して掴みを予測することも可能かもしれませんが、それが実際に役立つかどうかは不明です。なぜなら、物体のどこに指を置くかについて言語は何を教えてくれるのでしょう？」レバイン氏はZDNETに語った。 「もしかしたら少しは分かるかもしれないが、実際に違いを生むほどではないかもしれない。」
Eureka の論文はこの問題に間接的に取り組んでいます。言語モデルは、ロボット シミュレーションに何をすべきかを指示するのではなく、「報酬」、つまりロボットが目指して努力できる目標状態を作り出すために使用されます。報酬は、バークレー校のレバイン氏や他のロボット工学者がロボットのトレーニングに利用している機械学習 AI の一種である、いわゆる強化学習の手法として確立されています。
マー氏とチームの仮説は、大規模な言語モデルの方が人間の AI プログラマーよりも強化学習の報酬をうまく作り出すことができるというものです。
報酬の「進化」として知られるプロセスでは、プログラマーは、問題のすべての詳細、ロボットのシミュレーションに関するデータ (ロボットができることに対する環境上の制約など) を GPT-4 のプロンプトとして書き出します。すでに試行されている報酬については、GPT-4 に改善を依頼します。その後、GPT-4 は新しい報酬を考案し、報酬を繰り返しテストします。
Evolution は、このプログラムの名前の由来です。「エージェント向けの進化主導型ユニバーサル報酬キット」、つまりエウレカです。
Eureka の仕組みの概要: 人間のプログラマーによるロボット シムの基本設計をすべて取り入れ、多くの報酬を作成して反復的に試します。
マー氏とチームは、ロボットアームに引き出しを開けさせるなど、多くのタスクのシミュレーションで発明をそのペースで実行しました。 Eureka は、「四足歩行、クアッドコプター、二足歩行、マニピュレーター、およびいくつかの器用な手を含む 10 の異なるロボット形態を含む 29 のオープンソース RL 環境の多様なスイート全体で、報酬設計において人間レベルのパフォーマンスを達成している」と彼らは述べています。
Eureka プログラムが報酬を作成するロボット シム タスクの集まり。
「タスク固有のプロンプトや報酬テンプレートを使用せずに、Eureka はタスクの 83% で専門家による報酬を上回る報酬を自律的に生成し、平均で正規化された 52% の改善を実現しました」と彼らは報告しています。
彼らが達成した最も印象的な例の 1 つは、授業中に退屈している生徒と同じように、シミュレートされたロボットハンドにペンを回すことです。 「私たちはペンの回転を考慮しています。この場合、5本指の手は、できるだけ多くのサイクルにわたって、事前に定義された回転構成でペンを素早く回転させる必要があります」と彼らは書いています。そのために、彼らは Eureka を、数年前に開発された「カリキュラム学習」と呼ばれる機械学習アプローチと組み合わせました。このアプローチでは、タスクを一口サイズのチャンクに分割します。
「私たちは擬人化されたシャドウハンドを使ってペンを素早く回転させる操作を初めて実演しました」と彼らは語る。
著者らはまた、驚くべき発見をしました。エウレカからの改善された報酬と人間の報酬の両方を組み合わせると、その組み合わせは人間またはエウレカの報酬単独よりもテストでより良いパフォーマンスを発揮します。その理由は、人間がエウレカ計画にはないパズルの一部、つまり現状に関する知識を持っているためだと彼らは推測している。
「人間の設計者は一般に、関連する状態変数については知識がありますが、それを使用して報酬を設計することにはあまり熟練していません」と彼らは書いています。 「報酬関数に含めるべき関連する状態変数を特定するには、ほとんど常識的な推論が必要となるため、これは直感的に理にかなっていますが、報酬の設計には RL の専門的な知識と経験が必要です。」
これは、GitHub Copilot やその他のアシスタント プログラムに似た、人間と AI のパートナーシップの可能性を示しています。「これらの結果を総合すると、Eureka の報酬アシスタント機能が実証され、有用な状態変数に関する人間の設計者の知識を完全に補完し、設計方法に関する熟練度の低さを補っています。」それらを使用して報酬を獲得します。」