AIに関しては少ない方がずっと良い、とGoogleのDeepMindは言う

機能を 75% 削減したニューラル ネットワーク AI プログラムは、サイズが 2 倍のプログラムと同じ能力を実現できます。

科学者たちは、ニューラル ネットワークの 4 分の 3 を削除することで、より多くのことが達成できることを発見しています。

人工知能 (AI) の科学における主な追求は、プログラムの規模と使用するデータの量とのバランスです。結局のところ、AI を実行するために Nvidia GPU チップを購入し、ニューラル ネットワークをトレーニングするために数十億バイトのデータを収集するには、実際のお金、つまり数千万ドルがかかります。そして、どれくらいの費用が必要かは、非常に現実的な意味を持つ問題です。

Google の DeepMind 部門は昨年、コンピューティング能力とトレーニング データの間の正確なバランスを一種の AI の法則として成文化しました。 「チンチラの法則」と呼ばれるようになったこの経験則は、トレーニングに使用するデータの量を初期の 4 倍に増やすと、プログラムのサイズを初期の 4 分の 1 に縮小できるというものです。サイズ。

Chinchilla のポイントは、これが重要なことですが、プログラムがそれほど巨大ではなく、精度の点で最適な結果を達成できるということです。チンチラ氏は、より小規模なプログラムを構築しますが、データに対してより長時間トレーニングする必要があると述べています。言い換えれば、深層学習 AI では、少ないほど良いということになりますが、その理由はまだ完全に理解されていません。

今月発表された論文の中で、DeepMind とその共同研究者らは、その洞察に基づいて、ニューラル ネットワークの一部全体を取り除き、ニューラル ネットワークが壁にぶつかったときにパフォーマンスをさらに向上させることで、さらに改善することが可能であることを示唆しています。

オーストリア科学技術研究所の筆頭著者エリアス・フランター氏とディープマインドの共同研究者によると、「スパース性」と呼ばれる手法を使えば、他のニューラルネットワークの半分のサイズのニューラルネットワークでも、精度という点では同じ結果が得られるという。

スパース性は、長年研究されてきたニューラル ネットワークのあいまいな要素であり、人間のニューロンの実際の構造を借用した手法です。スパース性とは、ニューロン間の接続の一部をオフにすることを指します。人間の脳では、これらの接続はシナプスとして知られています。

人間のシナプスの大部分は接続されていません。チューリッヒ工科大学の科学者トルステン・ヘフラー氏とそのチームが2021年に観察したように、「生物の脳、特に人間の脳は階層的で疎らで反復的な構造」であり、「脳のニューロンが増えれば増えるほど、疎になる」と付け加えた。

非常に少数の接続という自然現象を近似できれば、より少ない労力で、より少ない時間、お金、エネルギーで、ニューラル ネットワークを使ってより多くのことができるようになる、という考え方です。

深層学習 AI モデルなどの人工ニューラル ネットワークでは、シナプス接続に相当するのは「重み」または「パラメータ」です。接続を持たないシナプスは、値がゼロの重みになります。何も計算されないため、計算エネルギーを消費しません。したがって、AI 科学者はスパース性を、 ニューラル ネットワークのパラメーターをゼロにすることと呼んでいます。

arXiv プレプリント サーバーに投稿された新しい DeepMind 論文の中で、Frantar とチームは、以前の研究で示されたように、小規模なネットワークでも大規模なネットワークの作業と同等にできるのか、一部の重みを削除することでスパース性がどの程度パフォーマンスをさらに向上させることができるのかを尋ねています。 ?

研究者らは、ニューラル ネットワークのパラメーターの 4 分の 3 をゼロにして、よりスパースな状態にすると、サイズの 2 倍以上のニューラル ネットワークと同じ作業を実行できることを発見しました。

彼らは次のように述べています。「これらの結果から得られる重要な点は、チンチラよりも大幅に長い時間トレーニングを行うと (高密度コンピューティングが最適)、より多くのスパース モデルが同じ数の非ゼロの損失の点で最適になり始めるということです。パラメーター。" 「高密度コンピューティング モデル」という用語は、スパース性がなく、すべてのシナプスが動作しているニューラル ネットワークを指します。

「これは、密なモデルをさらにトレーニングした場合のゲインが、ある時点から大幅に減速し始め、疎なモデルが追い越してしまうためです。」言い換えれば、通常の非スパース モデル (デンス モデル) は、スパース バージョンが引き継ぐところでは壊れ始めます。

この研究の実際的な意味は驚くべきものです。ニューラル ネットワークがパフォーマンスの点で限界に達し始めたら、機能するニューラル パラメーターの量を実際に減らすこと、つまりパラメーターをゼロにすることで、ニューラル ネットワークをトレーニングするときにニューラル ネットワークのパフォーマンスがさらに拡張されます。ますます長時間ネットを使用します。

「最適なスパース性レベルは、トレーニングが長くなるにつれて継続的に増加します」とフランターとチームは書いています。 「したがって、スパース性は、固定の最終パラメーター コストでモデルのパフォーマンスをさらに向上させる手段を提供します。」

ますます電力を消費するニューラルネットのエネルギーコストを心配している世界にとって、良いニュースは、より少ないコストでさらに多くのことができることを科学者が発見していることです。