メタのAIの権威であるルクンが深層学習のエネルギーの最前線を探求する
いわゆるエネルギーベースのモデルは、統計物理学の概念を借りており、ヤン・ルカンは「抽象的予測」への道を開く可能性があり、計画が可能なAIのための「統一された世界モデル」を実現すると述べています。
いわゆるエネルギーベースのモデルは、統計物理学の概念を借りており、抽象的な予測を行う深層学習型のAIにつながる可能性があると、メタの最高科学者ヤン・ルカンは述べています。
30年前、ヤン・ルカンはベル研究所に在籍中、画像認識などのタスクを解決するのに非常に生産的であることが証明された畳み込みニューラルネットワークと呼ばれる機械学習のアプローチを正式に確立しました。一般にCNNとして知られるこれらは、AIの深層学習の主力であり、2019年にはコンピュータのノーベル賞に相当する権威あるACMチューリング賞をルカンに授与しました。
最近、NYUの教授でありMetaのチーフサイエンティストであるルクンは、30年で最も興奮していると先週のインタビューでZDNetに語った。その理由は、新しい発見がAIにおいてCNNと同じくらい生産的である可能性のある長い探求のラインを再活性化しているからだ。
LeCunが探求している新しいフロンティアはエネルギーベースのモデルとして知られています。確率関数は「ランダム変数またはランダム変数の集合がその可能な状態のそれぞれを取る可能性がどれほど高いかの説明」であるのに対し（Ian Goodfellow、Yoshua Bengio、Aaron Courvilleによる『Deep Learning』、2019年参照）、エネルギーベースのモデルは二つの変数間の一致を単純化します。統計物理学からの言葉を借りると、エネルギーベースのモデルは、二つの変数が互換性がない場合、エネルギーが上昇し、より一致するほどエネルギーが低下すると仮定します。これにより、確率分布を「正規化」する際に生じる複雑さを取り除くことができます。
これは機械学習における古いアイデアで、少なくとも1980年代に遡りますが、それ以来エネルギーベースのモデルをより実用的にするための進展がありました。ルクンは、彼の考えが発展している中で、最近数回の講演を行っており、2019年にはプリンストンの高等研究所での講演がZDNetによって報告されました。
最近、ルクンはエネルギーベースのモデル研究の現状を2本の論文で説明しました。昨夏、Facebook AI ResearchとVICRegの同僚と共に発表した「バーロー・ツインズ」と、1月にFAIRとフランスのインリアと共にエコール・ノルマル・シュペリウールで発表した「VICReg」です。
これには量子電磁力学に興味深い類似点があり、レカンも会話の中で認めていましたが、それが彼の焦点ではありません。彼の焦点は、AIシステムのためにどのような予測が進められるかです。
LeCunが開発した現代のエネルギーベースのモデルのバージョンを使用して、彼が「共同埋め込みモデル」と呼ぶものを用いて、LeCunは深層学習システムに「大きな利点」があると信じています。つまり、「予測は抽象的な表現空間で行われる」ということです。
それは道を開くと、ルクンは主張します。「世界の抽象的な表現を予測する」ことです。抽象的な予測能力を持つ深層学習システムは、一般的な意味での計画への道かもしれません。「スタック」と呼ばれるそのような抽象予測機械の層を重ねることで、システムが推論モードにあるときに計画シナリオを生成することができます。
それは、ルカンが「世界モデル」と呼ぶ統一されたものを達成するための重要なツールである可能性があり、彼が自律的AIと呼ぶものを進展させるものであり、シナリオ間や画像、音声、その他の世界に関する入力のモダリティ間の依存関係をモデル化することによって計画を立てることができるものです。
以下は、私たちのZoomでの会話の編集版です。
ZDNet: まず最初に、私たちを方向付けるために、最近、機械学習における自己教師あり学習について話されましたが、無教師あり学習という用語も存在します。無教師あり学習と自己教師あり学習の関係は何ですか？
ヤン・ルカン： さて、自己教師あり学習を無教師あり学習の特定の方法と考えています。無教師あり学習は少し誤解を招く用語であり、機械学習の文脈ではあまり明確に定義されていません。それに言及すると、人々はクラスタリングや主成分分析（PCA）、そのようなものやさまざまな視覚化手法を考えます。したがって、自己教師あり学習は基本的に無教師あり学習のために本質的に教師あり学習の方法を使用しようとする試みです：教師あり学習の方法を使用しますが、人間が提供したラベルなしでニューラルネットを訓練します。 例えば、ビデオの一部を取り、そのセグメントを機械に見せて、ビデオの次に何が起こるかを予測するように頼むことができます。または、2つのビデオを見せて、これはあれの続きですかと尋ねることもできます。予測を求めるのではなく、これら2つのシーンが互換性があるかどうかを教えてもらうのです。または、同じ物体の2つの異なる視点を見せて、それらは同じ物体ですかと尋ねることもできます。このようなことです。したがって、システムに与えるすべてのデータは基本的に入力であり、人間の監視はありません。
ZDNet: あなたは近年、ニュージャージー州プリンストンにある高等研究所（IAS）での2019年の講演を含むいくつかの講演を行い、最近ではBaiduが主催した2月の講演で、深層学習におけるエネルギーベースのアプローチと呼ばれる方法について話しました。これらのエネルギーベースのモデルは、教師なし学習の自己教師ありセグメントに分類されますか？
はい。すべてはエネルギーベースのモデルの文脈で仮定されることができます。私はあなたにXとYを与えます。Xは観察であり、YはモデルがXに関して依存関係を捉えることになっているものです。例えば、Xはビデオのセグメントで、Yは別のセグメントです。私はXとYをシステムに示し、YがXの続きであるかどうかを教えてもらうことになっています。または、2つの画像は互いに歪んだバージョンなのか、それとも完全に異なるオブジェクトなのか？したがって、エネルギーはこの適合性または不適合性を測定します。2つの部分が適合している場合はゼロになり、適合していない場合は大きな数になります。
エネルギーベースのモデルを訓練するための2つの戦略があります。最初の戦略は、互換性のあるXとYのペアを示し、互換性のないXとYのペアも示すことです。合わない2つのビデオセグメント、異なる2つの物体の視点です。したがって、互換性のないペアについては、エネルギーを高く保ちたいので、何らかの方法でエネルギーを上げます。一方、互換性のあるものについては、エネルギーを下げます。
それらは対照的な方法です。そして、少なくともいくつかの文脈では、私は「シアミーズネット」と呼ばれる特定のタイプの自己教師あり学習のためにそれらを発明しました。私はかつてそれらのファンでしたが、今はそうではありません。この件について考えを変えました。私はこれらの方法が運命づけられていると思います。無駄だとは思いませんが、これらのものの次元に対してあまりスケールしないため、十分ではないと思います。あの言葉があります；「すべての幸せなカップルは同じ方法で幸せであり、すべての不幸なカップルは異なる方法で不幸である。」[トルストイ、『アンナ・カレーニナ』、「幸せな家族は皆似ている；すべての不幸な家族はそれぞれの方法で不幸である。」]
同じ話です。2つの画像が同一または互換性がある方法はわずかしかありませんが、2つの画像が異なる方法は非常に多く、高次元の空間です。したがって、基本的には、対比的手法を機能させるためには、エネルギーの対比サンプルが指数関数的に多く必要です。彼らはまだ非常に人気がありますが、私の意見では本当に限られています。私が好むのは、非対比的手法またはいわゆる正則化手法です。
「二つの画像が同一または互換性がある方法はわずかしかなく、二つの画像が異なる方法は非常に多く、高次元の空間に存在します。」
これらの方法は、低エネルギーを与える値の空間の体積が制限されるようにエネルギー関数を構築するという考えに基づいています。そして、低エネルギーを取ることができる空間の体積を最小化するという損失関数の項やエネルギー関数の項によって解釈できます。このような例はたくさんあります。その一つが1990年代に遡る積分スパースコーディングです。そして、最近私が本当に興奮しているのは、自己教師あり学習に適用された非対照的な方法です。
ZDNet: 特にあなたの講演の中で、あなたが「正則化された潜在変数エネルギーベースモデル」と呼ぶもの、RLVEBについて議論しました。それが2020年代または2030年代の新しい畳み込みニューラルネットワークの進むべき道だと言っているのですか？
YL: \ こう言っておきましょう：畳み込みネットワーク以来、機械学習に対してこれほど興奮したことはありません、わかりましたか？[笑い] それが新しい畳み込みかどうかはわかりませんが、本当に私が非常に興奮しているものです。IASで話していたとき、私が考えていたのはこの正則化された潜在変数生成モデルでした。これは生成モデルで、ビデオ予測のようなものに適用したい場合、ビデオの一部を与え、次のビデオセグメントを予測するように求めます。
今、私はここ数年でこのことについても考えを変えました。今、私のお気に入りのモデルは、XからYを予測する生成モデルではありません。私が呼ぶところの共同埋め込みモデルで、Xをエンコーダー、好むならニューラルネットワークを通して処理し、Yも別のエンコーダーを通して処理します。そして、予測はこの抽象的な表現空間で行われます。これには大きな利点があります。
まず第一に、なぜ私はこれについて考えを変えたのか？私が考えを変えたのは、以前はこれをどうやって行うか分からなかったからです。今では、実際に機能するいくつかの方法があります。そして、その方法は過去2年間で登場しました。私が推奨している方法は2つあり、実際に私が作成したものです。一つはVIC-REGと呼ばれ、もう一つはBarlow Twinsと呼ばれています。
ZDNet: では、この推論に沿った進展は今後5年から10年の間にどのように見られると思いますか？
YL: 今、私たちは少なくとも抽象空間で予測することを学ぶシステムに向かうアプローチを持っていると思います。彼らは、抽象空間で何が起こるかを時間や状態にわたって予測することを学ぶのと同時に、抽象的な予測を学ぶことができます。そして、それは自律的な知的システムを持ちたい場合に不可欠な要素です。たとえば、世界のモデルを持ち、世界で何が起こるかを事前に予測できるようにするためです。なぜなら、世界は進化しているからです。または、その行動の結果としてです。したがって、世界の状態の推定と、あなたが取っている行動が与えられた場合、その行動を取った後の世界の状態がどうなるかの予測を提供します。
エネルギーに基づくモデル：「VICREG」は「自己教師あり学習のための分散不変共分散正則化」の略で、LeCunのエネルギーに基づくニューラルネットワークアーキテクチャに関する最新の見解です。一連の画像が2つの異なるパイプラインで変換され、各歪んだ画像は本質的に圧縮するエンコーダに送られます。その後、「エクスパンダー」とも呼ばれるプロジェクターが、その圧縮された表現を最終的な「埋め込み」、Z次元に展開します。これら2つの埋め込みの間の類似性は、歪みに対して不変であり、プログラムが何かを特定するための適切な低エネルギーレベルを見つけることを可能にします。
その予測は、観察できないいくつかの潜在変数にも依存しています。例えば、車を運転しているとき、前方に車があり、その車はブレーキをかけたり、加速したり、左に曲がったり、右に曲がったりする可能性があります。事前に知る方法はありません。これが潜在変数です。そして、全体のアーキテクチャは、XとY、初期のビデオセット、未来のビデオを取り、それらをいくつかのニューラルネットに埋め込み、これら二つのものの抽象的な表現を持つというものです。そして、その空間で、あなたはその潜在変数の一つ、エネルギーベースの予測モデルを行っています。
要するに、現在のモデルは世界の抽象的な表現を予測しています。世界のすべての詳細を予測しているわけではなく、その多くは無関係である可能性があります。あなたが道路を走っている車を運転しているとします。道路の脇にある木の葉の非常に複雑な部分があるかもしれません。そして、これを予測する方法は全くなく、これを予測するためにエネルギーやリソースを費やしたくないのです。したがって、このエンコーダは、要求される前にその情報を本質的に排除するかもしれません。
ZDNet: 今後5年から10年の間に、特定のマイルストーンや目標を予見していますか？
「では、機械に計画を立てさせるにはどうすればよいのでしょうか？もし世界の予測モデルを持っていれば...システムは自らの行動の進路を想像し、その結果を想像することができます。」
私が予見するのは、この原則を利用できるということです。私はこれをJEPAアーキテクチャ、すなわち「共同埋め込み予測アーキテクチャ」と呼んでおり、これに関するブログ記事があり、現在準備中の長い論文もあります。このことから、私たちは世界の予測モデルを学習するためのツールを持ち、特定のタスクのためにシステムを訓練することなく、自己教師ありの方法で知覚の表現を学ぶことができると見ています。そして、システムがXとYの両方の抽象的な表現を学習するため、これらを重ねることができます。したがって、私たちの周りの世界の抽象的な表現を学習し、それによって短期的な予測を行うことができるようになったら、さらに抽象的な表現を学習し、長期的な予測を行うことができる別の層を重ねることができるのです。
それは、観察によって世界がどのように機能するかを学ぶシステムを得るために不可欠です。つまり、赤ちゃんは基本的に世界を見て回り、直感的な物理学や私たちが知っているすべてのことを学びます。そして、動物もこれを行います。私たちは機械にもこれをさせたいと考えています。しかし、これまでのところ、私たちはそれを実現できていません。したがって、私の意見では、これを行うための道は、共同埋め込みアーキテクチャを使用し、それらを階層的に検査することです。
もう一つの助けになるかもしれないのは、推論が可能な深層学習マシンです。ですので、もし議論のテーマが必要であれば、これまで深層学習が得意としてきたのは知覚、つまり「ここに入力があり、ここに出力がある」ということです。もしシステムに基本的に推論や計画をさせたい場合はどうでしょうか？より複雑なモデルの中にはそのようなことが少しありますが、実際にはそれほど多くはありません。
では、機械に計画を立てさせるにはどうすればよいのでしょうか。もし世界の予測モデルを持っていて、その行動の結果として何が起こるかを予測できるモデルがあれば、システムは自らの行動の進路を想像し、その結果を想像し、それをタスクが達成されたかどうかを特徴づけるようなハウス関数に供給することができます。そして、最適化を通じて、勾配降下法を使用して、目的を最小化する一連の行動を見つけることができます。私たちは学習について話しているのではなく、今は推論、計画について話しています。実際、私がここで説明しているのは、モデル予測制御のための古典的な計画と最適制御の方法です。
最適制御との違いは、私たちがハードワイヤードのモデルではなく、学習した世界のモデルを使ってこれを行うことです。そして、そのモデルは世界の不確実性を扱うすべての変数を持つことになります。これは、未来を想像し、一連の行動を計画する能力を持つ自律的な知能システムの基盤となる可能性があります。
私はここからサンフランシスコまで飛びたいです。空港に行き、飛行機に乗る必要があります。空港に行くためには、建物を出て、通りを下り、タクシーを捕まえる必要があります。建物を出るためには、椅子から立ち上がり、ドアの方に向かい、ドアを開け、エレベーターか階段に行く必要があります。それをするためには、これをミリ秒単位の筋肉の制御に分解する方法を考え出さなければなりません。それを階層的計画と呼びます。そして、私たちはシステムがこれをできるようにしたいと思っています。現在、私たちは本当にこれを行うことができません。これらの一般的なアーキテクチャは、私たちにそれらのものを提供してくれるかもしれません。それが私の希望です。
ZDNet: あなたがエネルギーベースのモデルを説明した方法は、ディラック-ファインマンの経路積分や波動関数のような量子電磁力学の要素に少し似ているようです。これは可能性の振幅の分布の合計です。おそらくこれは比喩的な関連性に過ぎないか、実際に対応関係があるのかもしれません。
YL: まあ、それは単なる比喩ではなく、部分的に異なります。潜在変数があり、その潜在変数がさまざまな値を取ることができるとき、通常はその潜在変数のすべての可能な値を循環します。これは実用的でないかもしれません。したがって、その潜在変数を何らかの分布からサンプリングすることがあります。そして、あなたが計算しているのは、可能な結果のセットです。しかし、実際には、最終的に計算しているのは、潜在変数の可能な値を平均化した期待値を与えるコスト関数です。そして、それは実際にはパス積分のように見えます。 経路積分では、実質的に複数の経路にわたるエネルギーの合計を計算しています。少なくとも古典的な方法ではそうです。量子の方法では、確率やスコアを足し合わせるのではなく、互いに打ち消し合う可能性のある複素数を足し合わせています。私たちのものにはそれはありませんが、そういったことについて考えてきました—少なくとも、私はそういったことについて考えてきました。しかし、この文脈では使用されていません。しかし、潜在変数に対する周辺化のアイデアは、経路や軌道にわたる合計のアイデアと非常に似ています。それは非常に似ています。
ZDNet: あなたは二つの非常に印象的な主張をしました。一つは、深層学習の確率的アプローチは終わったということです。そして、あなたが議論しているエネルギーベースのモデルが、ホップフィールドネットのような1980年代のアプローチに何らかの関連があることを認めています。その二つのポイントについて詳しく説明していただけますか？
「意識は私たちの脳の限界の結果です。もし無限の大きさの脳を持っていたら、意識は必要ないでしょう。」
YL: 我々が確率モデルを放棄する必要がある理由は、2つの変数XとYの依存関係をモデル化する方法にあります。Yが高次元である場合、Yの分布をどのように表現するのでしょうか？本当にそれを行う方法はわかりません。非常に単純な分布、ガウス分布やガウス混合分布などを書くことしかできません。複雑な確率測度を持ちたい場合、私たちはそれを行う方法を知らないか、エネルギー関数を通じて行う方法しか知らないのです。したがって、低エネルギーが高確率に対応し、高エネルギーが低確率に対応するエネルギー関数を書きます。これは物理学者がエネルギーを理解する方法です。問題は、我々は決して、またはめったに正規化する方法を知らないということです。統計学、機械学習、計算物理学などに関する多くの論文があり、すべてこの項が扱いにくいという問題をどのように回避するかについてです。
私が基本的に提唱しているのは、確率的モデリングを忘れて、エネルギー関数そのものを扱うことです。エネルギーを正規化できる形にする必要すらありません。結局のところ、データモデルをトレーニングする際に、互換性のあるもののエネルギー関数を低く、互換性のないもののエネルギー関数を高くするような損失関数を最小化する必要があります。それだけのことです。
ZDNet: ホップフィールドネットなどとの関連性は？
YL 確かにホップフィールドネットとボルツマンマシンはこれに関連しています。ホップフィールドネットはエネルギーベースのモデルで、非対比的な方法で訓練されますが、非常に非効率的であるため、誰もそれを使用しません。
ボルツマンマシンは基本的にホップフィールドネットの対比的なバージョンであり、データサンプルがあり、それらのエネルギーを下げ、他のサンプルを生成し、それらのエネルギーを上げます。そして、それらは何らかの点で少し満足のいくものですが、対比的な手法であるため、あまりうまく機能しません。そのため、使用されることもありません。
ZDNet: では、正則化された潜在変数エネルギーベースモデルは本当にホップフィールドネット2.0と考えられるのでしょうか？
YL: いいえ、そうは言えません。
ZDNet: あなたは「世界モデルは一つだけであり」、意識は「人間の脳における世界モデルの意図的な構成である」とかなり衝撃的な主張をしました。あなたはこれをおそらくクレイジーな仮説と呼びました。これはあなたの推測、つまりこのクレイジーな仮説なのか、それとも証拠があるのか？この場合、何が証拠と見なされるのでしょうか？
はい、そしてはい。それは推測であり、クレイジーなアイデアです。意識に関することは、ある程度、推測であり、クレイジーなアイデアです。なぜなら、私たちはそもそも意識が何であるかを本当に知らないからです。私の見解は、それは少し幻想のようなものだということです。しかし、私がここで言いたいのは、少し皮肉を込めて、意識は人間や一部の動物が持つ能力のように考えられているということです。なぜなら、彼らは非常に賢いからです。そして、私が言いたいのは、意識は私たちの脳の限界の結果であり、私たちにはこの単一の、いわば、世界モデルエンジンが頭の中にあるため、意識が必要だということです。そして、それが私たちに意識の幻想を与えます。しかし、もし私たちが無限の大きさの脳を持っていたら、意識は必要ないでしょう。
私たちの頭の中には、ある程度、単一のシミュレーションエンジンがあるという証拠が少なくとも存在します。この証拠は、私たちが基本的に同時に一つの意識的なタスクしか試みることができないということです。私たちはそのタスクに集中し、計画した行動の結果を想像します。それを同時に行うことはできません。複数のタスクを同時に行うことはできますが、それは基本的に考えずに自分自身を訓練してきた潜在意識のタスクです。運転を十分に練習した後、運転中に隣にいる人と話すことができますが、運転を学び始めた最初の数時間はそれができません。運転のタスクに集中しなければなりません。私たちは、起こりうるすべての恐ろしいシナリオを考えるために、世界モデル予測エンジンを使用しなければなりません。
ZDNet: もしこれが推測のようなものであれば、あなたの現在の仕事にとって実際的な重要性はないということですね？
YL: いいえ、そうです。私が提案した自律AIのモデルには、未来を計画し想像するため、そして完全に観察できない事柄の空白を埋めるための単一の構成可能な世界モデルシミュレーションエンジンがあります。構成可能な単一モデルを持つことには計算上の利点があります。構成する単一エンジンを持つことで、システムが観察によって学んだ世界のすべてに共通するタスク間でその知識を共有できる可能性があります。基本的な論理のようなものも含まれます。 異なるタスクのために別々に訓練しなければならない完全に別のモデルを持つよりも、構成可能な大きなモデルを持つ方がはるかに効率的です。しかし、これはすでに見られますよね？昔、Facebookと呼ばれていた頃、画像を分析し、ランキングやフィルタリングを行うために使用していたビジョンでは、異なるタスクのために特化したニューラルネットや特化した畳み込みネットを持っていました。そして今では、すべてを行う巨大な一つのモデルがあります。以前は半ダースのConvNetがありましたが、今では一つだけです。
したがって、私たちはその収束を見ています。今では、すべてを行うアーキテクチャもあります：視覚、テキスト、音声を単一のアーキテクチャで行います。これらの3つのタスクは別々にトレーニングする必要がありますが、この作業、data2vecは自己教師ありアプローチです。
ZDNet: 非常に興味深い！お時間をいただきありがとうございます。