最新のAIベンチマークテストでは、主にNvidiaがNvidiaと競い合っています。

2018年にAIトレーニングのベンチマークであるMLPerfテストが始まって以来、Nvidiaはその支配的なチップに対してほとんど競争がなかった。

豊富な競争がないため、Nvidiaの最新のMLPerfにおけるいくつかの重要な結果は、自社製品同士の比較であり、最新のGPUであるH100「ホッパー」と既存の製品であるA100を比較しています。

チップ大手のNvidiaは人工知能の世界に長い影を落とす傾向がありますが、最新のベンチマークテストの結果から判断すると、市場から競争を排除する能力が高まっている可能性があります。

Googleは、なぜ今回は参加しなかったのかについてのZDNETのコメント要請に応じませんでした。

GraphcoreはZDNETに対し、同社がエンジニアの時間をMLPerfの提出準備にかかる数週間または数ヶ月よりも、今のところより良い場所に充てることを決定したとメールで伝えました。

「収穫逓減の問題が浮上しました」と、Graphcoreのコミュニケーション責任者であるイアン・マッケンジーはZDNETにメールで語りました。「無限に飛び越えることが避けられないという意味で、さらに秒数が削減され、ますます大きなシステム構成が提案されるでしょう。」

グラフコアは「将来のMLPerfラウンドに参加するかもしれませんが、今のところ私たちが最も興味深い進展を見ているAIの分野を反映していません」とマッケンジーはZDNETに語りました。MLPerfのタスクは単なる「テーブルステークス」です。

代わりに、彼は「私たちは本当にエネルギーを集中させたい」と言い、「AI実践者のための新しい能力を解放すること」に焦点を当てていると述べました。その目的のために、「グラフコアからすぐにいくつかのエキサイティングな進展を見ることが期待できる」とマッケンジーは言いました。「例えば、モデルのスパース化やGNN、つまりグラフニューラルネットワークにおいてです。」

Nvidiaのチップが競争を支配していることに加え、最高得点を達成したすべてのコンピュータシステムは、パートナーのものではなくNvidia自身が構築したものでした。これは過去のベンチマークテストのラウンドからの変化でもあります。通常、Dellなどの一部のベンダーは、Nvidiaのチップを使用して組み立てたシステムで最高得点を達成します。しかし、今回はどのシステムベンダーもNvidiaのチップの使用においてNvidiaを上回ることができませんでした。

MLPerfトレーニングベンチマークテストは、コンピュータプログラムが特定のタスクで必要な最小精度を達成するまで、神経の「重み」またはパラメータを調整するのにかかる時間を報告します。このプロセスは神経ネットワークの「トレーニング」と呼ばれ、短い時間が望ましいとされています。

トップスコアはしばしば見出しを飾り、ベンダーによってメディアに強調されるが、実際にはMLPerfの結果にはさまざまなシステムと幅広いスコアが含まれており、単一のトップスコアだけではない。

電話での会話の中で、MLCommonsのエグゼクティブディレクターであるデビッド・カンターは、ZDNETに対してトップスコアだけに焦点を当てないように伝えました。カンターは、AIハードウェアの購入を評価している企業にとって、ベンチマークスイートの価値は、さまざまなサイズと性能のさまざまなタイプのシステムを幅広く持つことだと述べました。

数百に及ぶ提出物は、通常のマイクロプロセッサーが数個しか搭載されていない機械から、AMDのホストプロセッサーが数千個、NvidiaのGPUが数千個搭載された機械まで多岐にわたり、トップスコアを達成するようなシステムです。

「機械学習のトレーニングと推論に関しては、さまざまなパフォーマンスレベルに対する多様なニーズがあります」とカンターはZDNETに語り、「その目標の一部は、これらの異なるスケールで使用できるパフォーマンスの指標を提供することです。」

カンターは続けて言った。「小規模なシステムに関する情報も、大規模なシステムと同じくらい価値があります... これらのシステムはすべて同等に関連性があり重要ですが、異なる人々にとっては異なるかもしれません。」

今回のGraphcoreとGoogleの参加の欠如について、カンターは「もっと多くの提出を見たい」と述べ、「多くの企業にとって、エンジニアリングリソースの投資方法を選ばなければならないことを理解しています。... 時間の経過とともに、ベンチマークの異なるラウンドでこれらのことが波のように変動するのを見ることになると思います」とも付け加えました。

Nvidiaへの競争の不足という興味深い副作用は、いくつかのトレーニングタスクのトップスコアが前回から改善されなかっただけでなく、むしろ後退を示したことを意味しました。

例えば、尊敬されるImageNetタスクでは、ニューラルネットワークが数百万の画像に分類ラベルを割り当てるように訓練されており、今回のトップ結果は6月に3位だった結果と同じで、Nvidia製のシステムが19秒で訓練されました。6月のその結果は、Googleの「TPU」チップの結果に遅れをとり、11.5秒と14秒で達成されました。

以前の提出の繰り返しについて尋ねられた際、NvidiaはZDNETに対し、今回はA100ではなくH100チップに焦点を当てているとメールで伝えました。また、Nvidiaは2018年の最初のA100の結果以来、進展があったことも指摘しました。そのトレーニングベンチマークのラウンドでは、8ウェイのNvidiaシステムがResNet-50のトレーニングにほぼ40分かかりましたが、今週の結果ではその時間が30分未満に短縮されました。

Nvidiaは、IntelのGaudi2 AIチップや今後登場するSapphire Rapids XEONプロセッサに対する速度の優位性についても語りました。

競争力のある提出物の不足とMLPerfの実現可能性について尋ねられた際、Nvidiaのサルバトーレは記者に「それは公平な質問です」と答え、「私たちは参加を促進するためにできる限りのことをしています。業界のベンチマークは参加によって成り立っています。新しいソリューションが他社から市場に出てくるにつれて、それらのソリューションの利点や良さを業界標準のベンチマークで示したいと思ってくれることを期待しています。独自のパフォーマンス主張を提供するのは非常に検証が難しいです」と付け加えました。

サルバトーレは、MLPerfの重要な要素は、テスト結果を明確かつ一貫性のあるものに保つために、数十社からの数百件の提出にわたってテスト設定とコードを厳密に公開することだと述べました。

MLCommonsの水曜日のリリースでは、MLPerfトレーニングベンチマークスコアに加えて、HPC、つまり科学計算とスーパーコンピュータのテスト結果も提供されました。これらの提出には、Nvidiaとそのパートナーのシステム、そして独自のチップを搭載した富士通のFugakuスーパーコンピュータが含まれていました。

TinyMLと呼ばれる第三の競技は、低消費電力の組み込みチップが推論を行う際の性能を測定します。推論とは、訓練されたニューラルネットが予測を行う機械学習の一部です。

Nvidiaがこれまで参加していないその競技会は、シリコンラボやクアルコムなどのチップメーカー、欧州のテクノロジー大手STマイクロエレクトロニクス、スタートアップのOctoML、Syntiant、GreenWaves Technologiesなど、興味深い多様なチップと出品がある。

TinyMLのテストの一つで、CIFARデータセットとResNetニューラルネットを使用した画像認識テストにおいて、フランスのグルノーブルに本社を置くGreenWavesが、データを処理して予測を出すのに最も低いレイテンシを持つため、最高得点を獲得しました。同社はRISCプロセッサと組み合わせたGap9 AIアクセラレーターを提出しました。

準備された発言の中で、GreenWavesはGap9が「MobileNetシリーズの分類および検出タスクのような中程度の複雑さのニューラルネットワークにおいて非常に低いエネルギー消費を提供するだけでなく、我々のLSTMベースのオーディオデノイザーのような複雑な混合精度の再帰ニューラルネットワークにおいても同様である」と述べました。