Nvidia が AI ベンチマークを席巻するも、Intel は有意義な競争をもたらす
IntelはGaudi AIアクセラレーターをベースにした数千チップのクラスターを社内で構築しており、将来的にはNvidiaにとってさらに大きな競争になる可能性があると同社は述べた。
ニューラル ネットワークのトレーニングにおけるチップ速度の最新のベンチマーク テストが、業界コンソーシアムである MLCommons によって火曜日に発表されました。過去数年と同様、Nvidia は MLPerf テストで軒並み最高点を獲得しました。
競合他社のGoogle、Graphcore、Advanced Micro Devicesが今回はエントリーを提出しなかったため、8つのテストすべてでNvidiaの優位性が完全に確立した。
しかし、Intel の Habana ビジネスは、Guadi2 チップとの有意義な競争をもたらし、同社は今秋までに Nvidia の最上位 H100 GPU に勝つことを約束しています。
ベンチマーク テストであるトレーニング バージョン 3.0 は、コンピューター プログラムが特定のタスクで必要な最小精度に達するまで、ニューラルの「重み」またはパラメーターを調整するのに何分かかるかを報告します。このプロセスは、ニューラル ネットワークの「トレーニング」と呼ばれます。 。
メインの Training 3.0 テストは合計 8 つの個別のタスクで構成され、複数の実験で設定を調整することでニューラル ネットワークを調整する時間を記録します。これはニューラル ネットワークのパフォーマンスの半分であり、残りの半分はいわゆる推論であり、完成したニューラル ネットワークが新しいデータを受け取るときに予測を行います。推論は、MLCommons からの別のリリースでカバーされています。
MLCommons は火曜日、サーバー コンピューターでのトレーニングに加えて、非常に低電力のデバイスで予測を行う際のパフォーマンスを測定する付随ベンチマーク テストである MLPerf Tiny バージョン 1.1 をリリースしました。
Nvidia は、トレーニングにかかる時間が最も短く、8 つのテストすべてでトップの座を獲得しました。 2 つの新しいタスクが追加されました。 1 つは、OpenAI によって作成された GPT-3 大規模言語モデル (LLM) のテストです。 LLMS を使用した生成 AI は、同じ LLM に基づいて構築された OpenAI の ChatGPT プログラムの人気により、大流行になっています。 GPT-3 タスクでは、Nvidia が、Nvidia GPU のクラウドベースのインスタンスをレンタルするパートナー CoreWeave の協力を得て構築したシステムでトップの座を獲得しました。
Nvidia-CoreWeave システムは、Colossal Cleaned Common Crawl と呼ばれるデータ セットを使用してトレーニングするのに 11 分弱かかりました。このシステムでは、896 個の Intel Xeon プロセッサと 3,584 個の Nvidia H100 GPU が使用されていました。このシステムは、Nvidia の生成 AI 用 NeMO フレームワークを使用してタスクを実行しました。
トレーニングは、1,750 億個のパラメータを持つ GPT-3 の「ラージ」バージョンを使用して、完全な GPT-3 トレーニングの一部で行われます。 MLCommons は、送信者にとって妥当な実行時間を維持するために、テストを完全な GPT-3 トレーニングの 0.4% に制限しています。
また、今回新たに追加されたのは、製品検索やソーシャル メディアの推奨などで人気のあるレコメンダー エンジンの拡張バージョンです。 MLCommons は、これまで使用されていた 1 テラバイトのデータ セットであるトレーニング データ セットを、Criteo 4TB マルチホットと呼ばれる 4 テラバイトのデータ セットに置き換えました。 MLCommons は、小規模なデータ セットが時代遅れになったため、アップグレードを行うことを決定しました。
「実稼働推奨モデルは、サイズ、コンピューティング、およびメモリ操作の点で、規模が拡大しています」と同組織は指摘しています。
Nvidia と競合する唯一の AI チップ ベンダーは Intel の Habana で、Gaudi2 アクセラレータ チップを使用して 5 件のエントリーを提出し、加えてコンピュータ メーカー SuperMicro が Habana のチップを使用して 1 件のエントリーを提出しました。これらのシステムは、8 つのタスクのうち 4 つで集合的に提出されました。いずれの場合も、Habana システムはトップの Nvidia システムを大きく下回りました。たとえば、質問に答えるために Wikipedia データで Google の BERT ニューラル ネットワークをトレーニングするテストでは、Habana が 5 位になり、トレーニングを完了するのに 2 分かかったのに対し、3,072 GPU の Nvidia-CoreWeave マシンでは 8 秒かかりました。
しかし、Intel の AI 製品責任者である Jordan Plawner 氏は、ZDNET とのインタビューで、同等のシステムの場合、Habana と Nvidia の間の時間の差は十分に近く、多くの企業にとって無視できるかもしれないと述べました。
たとえば、BERT Wikipedia テストでは、2 つのコンパニオン Intel Xeon プロセッサを備えた 8 つの部分からなる Habana システムのトレーニング時間は 14 分強でした。この結果は、他の 20 件の提出物よりも優れており、その多くは 2 倍の Nvidia A100 GPU を搭載していました。
「皆さんもぜひ 8 デバイスのマシンを見てください」とプラウナー氏は言いました。 「Gaudi2 では、同様の仕様の A100 と同様の価格で、1 ドルあたりにより多くのトレーニングが可能であり、価格面でかなりの利点があります。」
Plawner 氏は、Gaudi2 が Nvidia A100 の同様の構成のいくつかに勝つことができるだけでなく、Gaudi2 はわずかなハンディキャップを負った状態で実行できると指摘しました。 Nvidia は、浮動小数点、8 ビットの「FP-8」と呼ばれるトレーニング用データ形式を使用して MLPerf エントリを提出しましたが、Habana は、B 浮動小数点、16 ビットの BF-16 と呼ばれる代替アプローチを使用しました。 BF-16 の演算精度が高いため、完了までの時間の点でトレーニングが多少妨げられます。
プラウナー氏は、今年後半に Gaudi2 は FP-8 を使用する予定であり、これによりパフォーマンスが向上すると述べました。これにより、Habana はパフォーマンスで Nvidia の新しい H100 システムを上回ることさえ可能になる、と同氏は予測しました。
プラウナー氏は、「業界はエヌビディアに代わるものを必要としている」と述べた。顧客は従来、信頼できるブランドから切り替えることに消極的でしたが、現在は Nvidia の部品供給の突然の逼迫に押されています。 CEOのジェンスン・ファン氏は先月、NvidiaがH100 GPUの需要を満たすのに苦労していると述べた。
「今では彼らはやる気を出している」とプラウナー氏は、Nvidiaの供給不足に不満を感じている顧客についてZDNETに語った。
「これが私たちが彼らから聞いていることです。彼らには明日やりたいことがあって、CEO から命令されているのに、GPU が手に入らないためにそれができない、 ということです。期間です。」
「信じてください、彼らは（生成 AI に）費やしているよりもはるかに多くの利益を上げています。彼らが Gaudi プロジェクトに 50 人を投入して、文字通り同じトレーニング時間を得ることができたとしたら、答えが「私には GPU がない」ということであれば、私は待っています、あるいは、私は Guadi2 を持っているので、明日新しいサービスを開始できます。彼らは新しいサービスを開始するために Gaudi2 を購入しに行くでしょう。」
プラウナー氏は、インテルは台湾半導体に次ぐ世界第二位のチップ工場、つまり「ファブ」であり、そのため同社は供給を自社でコントロールできると指摘した。
Nvidia はトップスコアを獲得するために数千 GPU システムを構築していますが、Habana も同様の能力があるとプラウナー氏は述べています。 「インテルは社内で数千のGuadi2クラスターを構築している」と同氏は述べ、そのようなマシンが将来のMLPerfラウンドにエントリーされる可能性があることを暗に示唆した。
火曜日の結果は、トレーニングテストでは2四半期連続で、代替チップメーカーがNvidiaに対してトップスコアを示さなかったのは2四半期連続となる。
1年前、GoogleはTPUチップのおかげでトップスコアをNvidiaと分け合った。しかし、Googleは昨年11月にも姿を見せず、今回も姿を見せなかった。そして新興企業のグラフコアも、テスト結果を披露することよりも自社のビジネスに注力し、出馬から撤退した。
競合他社によるノーショーについてZDNETから質問されたMLCommonsディレクターのデビッド・カンター氏は電話での会話の中で、「参加する当事者が多ければ多いほど良い」と述べた。
Googleは本稿執筆時点で、今回参加しなかった理由を尋ねるZDNETからの問い合わせに返答しなかった。 GPUでNvidiaと競合するAdvanced Micro Devicesもコメント要請に応じなかった。
ただし、AMD は、競合するシステムに自社の CPU チップを搭載していました。しかし、驚くべきことに、優勝した Nvidia システムはすべて、ホスト プロセッサとして Intel Xeon CPU を使用していました。前年の結果では、Nvidia であろうと Google であろうと、受賞した 8 つのエントリーはすべて、AMD の EPYC サーバー プロセッサを使用したシステムでした。この切り替えは、Intel が今年の Sapphire Rapids リリースでサーバー プロセッサの失地を取り戻すことに成功したことを示しています。
Google と Graphcore が参加していないにもかかわらず、このテストには引き続き新しいシステム メーカーが提出を行っています。今回、初めての提出者には CoreWeave だけでなく、IEI や Quanta Cloud Technology も含まれていました。