AI が忘れたことは私たちを殺す可能性がありますが、新しい研究は AI が記憶するのに役立っています

これは皮肉なことです。人間の脳がどのように記憶を作るのかをより深く理解できれば、ニューラル ネットワークの「壊滅的な」忘却の習慣を軽減できる可能性があります。

ほとんどのレポートによると、砂糖やテイラー・スウィフトと同じように、AI が間もなくあらゆる場所に普及するようになるでしょう。

AI システムは間もなく、私たちが使用したり行ったりするあらゆるものに対するインテリジェントなバックボーンを形成し、業界と社会全体を変革するだろうと専門家は述べています。

それで、あなたが友好的な空のどこかを飛んでいるときに、AIによって管理されている航空機の中枢神経系が突然停止し、飛行機が無力になった場合を想像してください。

あるいは、ニューヨーク証券取引所が予期せぬ即時休暇をとることを決定し、経済を停止し、経済とあなたの貯蓄を死のスパイラルに陥らせることもあります。

あるいは、毎日のとぼとぼと仕事に出かける前に、あなたの体が受け入れるであろうその食べ物をトースターが提供することを拒否します。

信じられないかもしれませんが、人類を滅亡へと突き進むキラーテクノロジー――それを発明したまさにその人であるジェフリー・ヒントンと同じようにAIの権威に属する確信――は、存続する前に対処しなければならない小さな問題を抱えています。その殺人的な可能性に対して。

問題が進むにつれ、それは恐ろしい問題になります。単純に古いことを思い出せないのです。

そして、覚えていないときは、「壊滅的な忘却」と呼ばれる行為によって即座にシャットダウンが始まり、これはあなたの高校での教育経験全体と不気味な類似点があるかもしれません。

過去のことを思い出して

チップに値する基本的な AI システムは、継続学習と呼ばれるプロセスで一連のタスクを正常に学習できるものでなければなりません。

人間の場合、脳が過去に何かをしたときの記憶を呼び起こすことができるときに学習が起こります。

これは、睡眠段階のレム サイクルの部分に左右されます。レム サイクルでは、最近の記憶が長期保存箱に移され、新しい記憶ができるようになります。

AI ニューラル ネットワークは基本的に人間の脳の仕組みを模倣しているため、アルゴリズムがすべての古いジョブの実行に関する保存された知識を使用して、私たち人間と同じように新しいジョブを学習できるのではないかと長い間期待されてきましたが、これはどうやらそうではないようです期待どおりに動作すること。

人工ニューラルネットワークのトレーニングにおいて、認知に大きなギャップを引き起こしている何かが起こっている、または場合によっては起こっていないのです。ニューラル ネットワークは、新しいことを学習している間、古い情報をすべて忘れ、その後フリーズしていきます。

これを解決するために、研究者らは新しい戦略に着手した。新しいデータを処理しながら古いデータを AI システムに供給し始めた。これはインターリーブトレーニングと呼ばれるプロセスで、これが睡眠時の脳の仕組みだと考えられた。

このプロセスは実際には脳内で起こっているわけではないことがわかっています。実用的な観点から見ても、脳やその模倣機械が睡眠中にこの古い学習データをすべて消化するのに必要な時間は、これに近いものはありません。

答えは別の場所にあるはずです。

チェコ共和国のプラハにあるチェコ科学アカデミーのコンピューターサイエンス研究所とカリフォルニア大学サンディエゴ校の研究者らも、別の視点から睡眠を調査した。

彼らは、解決策が見つかるまで常にシナプス（ニューロン間の結合）を調整する従来のニューラルネットワークを避け、人間の脳に最もよく似ていると考えられる「スパイク」ネットワークを採用しました。

研究者らによると、「スパイク」ネットワークは、時間をかけて大量の信号を受信した後にのみ出力を送信するため、シフトするデータが大幅に減り、消費電力と帯域幅が大幅に削減されます。そうすることで、古いタスクの学習に関与するニューロンを再活性化することができます。うまくいくようでした。

スパイクニューラルネットワークは、睡眠様相を経た後に両方のタスクを実行することができました。

「私たちの研究は、生物学にヒントを得たソリューションの開発における有用性を強調しています」と、研究の研究者の一人、カリフォルニア大学サンディエゴ校のジーン・エリック・ドラノワ氏は言う。

あなたの創造主の姿に

一方、つい最近、オハイオ州立大学の研究者らは、睡眠を避けながら、深層学習ニューラルネットにおける壊滅的な忘却という同じ問題に取り組んだ。

彼らは、この問題を解決するために、まったく異なる独創的なアプローチを使用しました。

「私たちの研究は、これらの人工ニューラルネットワークにおける継続学習の複雑さを掘り下げており、私たちが発見したのは、機械が学習する方法と人間が学習する方法の間のギャップを埋め始める洞察です」とコンピューターサイエンスの教授であるネス・シュロフ氏は述べています。オハイオ州立大学の工学部。

シュロフ氏らは、従来の機械学習アルゴリズムは一度に大きなプッシュでデータを強制的に供給するものであるが、それは必ずしも機械にとって良いことではないことを発見した。実際、タスクが互いにどれだけ似ているか、共通点は何か、さらにはタスクがどの順序で教えられるかによっても、アルゴリズムがタスクをどの程度記憶するかが影響を受けます。

私たちの時代の最も奇妙な皮肉の一つかもしれないが、シュロフと彼の同僚は、アルゴリズムも人間と同じように、一連の同様のタスクではなく、非常に異なるタスクを連続して与えられるとはるかによく記憶できることを発見した。

人間の脳も同様に機能します。同じ場所や経験が繰り返されると、同じイベント (パーティー、休暇、さらには曜日でさえも) がぼやけて見えます。しかし、異なるものが際立っています。

オハイオ州立大学の研究者らは、AI が新しいことを学習するためには、古いタスクに似たタスクだけでなく、異なるタスクも継続的な学習プロセスの非常に早い段階で導入する必要があることを発見しました。

「機械と人間の脳の類似点を理解することで、AI をより深く理解する道が開かれる可能性があるため、彼らの研究は特に重要です」とシュロフ氏は述べた。

AI が真に効果的かつ安全であるためには、アルゴリズムがより適切に学習し、さまざまな予期せぬ状況に対処でき、スケーラブルである必要があります。

マシンのメモリ障害に対するこれら 2 つのソリューションは、その目標に向けてかなり役立つはずです。