AIは2025年にあなたを億万長者にすることができるのか？
チップメーカーによると、アマゾン、グーグル、メタなどのクラウド大手は、Nvidiaのインフィニバンドに縛られたくないと考えており、すべてを標準イーサネットに移行したいと望んでいます。
ブロードコムのイーサネットスイッチチップベンダーによると、RDMA over Converged Ethernet（RoCE）により、イーサネットスイッチングはGPUの相互接続としてインフィニバンドに取って代わる準備が整った。
しばらくの間、コンピュータネットワークの専門家たちは第二のネットワークについて話しています。通常のネットワークは、クライアントコンピュータをサーバーに接続するLANです。人工知能の台頭により、そのネットワークの「背後」にAIタスクを実行するための「スケールアウト」ネットワークが生まれました。これは、数千のGPUでトレーニングする必要がある深層学習プログラムなどです。
それは、スイッチシリコンベンダーのブロードコムが重要な行き詰まりと表現する状況を引き起こしました。深層学習を実行するGPUチップの主要なベンダーであるNvidiaは、2020年にMellanoxを買収した際に追加したInfiniBand技術を使用して、チップを相互接続するネットワーキング技術の主要なベンダーにもなりつつあります。
危険なのは、すべてが1つの会社に結びついており、多様化がなく、多くのチップが競争するデータセンターを構築する方法がないということだと、一部の人は示唆している。
RoCE（統合イーサネット上のRDMA）と呼ばれる新しい技術は、インフィニバンドとイーサネットの間のレイテンシのギャップを埋めます。RoCEを使用することで、オープンスタンダードがNvidiaのGPUとインフィニバンドの緊密な結合に勝ります。
「RoCEを取得すると、もはやインフィニバンドの利点はなくなります」とヴェラーガは言いました。「イーサネットの性能は実際にインフィニバンドの性能に匹敵します。」
「私たちの主張は、もし私たちがインフィニバンドをチップ間で上回ることができ、実際にイーサネットの成功を求めているエコシステム全体があれば、イーサネットでインフィニバンドを置き換え、広範なGPUエコシステムを成功させるためのレシピがあるということです」とヴェラガは述べました。
アマゾンなどのクラウドコンピューティングの巨人たちは、「GPUが彼らに販売される唯一の方法は、イーサネットを介して伝送できる標準NICインターフェースを使用することだ」とブロードコムのコアスイッチンググループのゼネラルマネージャー、ラム・ヴェラガは述べています。
GPUの広範なエコシステムへの言及は、実際にはAI市場で新しいチップアーキテクチャを提供している多くの競合シリコンプロバイダーへの暗示です。
彼らには、Cerebras Systems、Graphcore、SambaNovaなどの資金力のあるスタートアップが含まれていますが、Googleの独自のテンソル処理ユニット（TPU）やAmazonのTrainiumチップなど、クラウドベンダー自身のシリコンも含まれています。これらのすべての取り組みは、計算リソースがNvidiaによって販売される単一のネットワークに依存していなければ、より多くの機会を持つ可能性があります。
「今日の大手クラウド企業は、『自分たちのGPUを作りたいが、インフィニバンドファブリックがない』と言っています」とヴェラガは述べました。「もし皆さんがイーサネットに相当するファブリックを提供してくれれば、私たちは残りの作業を自分たちで行うことができます。」
ブロードコムは、レイテンシの問題が解消されるにつれて、インフィニバンドの弱点が明らかになると賭けています。例えば、この技術がサポートできるGPUの数です。「インフィニバンドは常に特定のスケール制限、つまりおそらく千のGPUを持つシステムでした。なぜなら、実際には分散アーキテクチャを持っていなかったからです。」
さらに、イーサネットスイッチはGPUだけでなく、IntelおよびAMDのCPUにも対応できるため、ネットワーキング技術を1つのアプローチに統合することには一定の経済的利点があるとヴェラガは示唆しました。
「この市場の最も早い採用はGPUインターコネクトから来ると期待していますが、時間が経つにつれて、バランスはおそらく五分五分になると思います」とヴェラガは述べました。「CPUインターコネクトとGPUインターコネクトの両方に使用できる同じ技術があるため、CPUの販売台数がGPUよりもはるかに多いという事実から、ボリュームの正規化が進むでしょう。」GPUは帯域幅の大部分を消費し、CPUはイーサネットスイッチのポートをより多く消費する可能性があります。
そのビジョンに従い、ヴェラガはAI処理のための特別な機能を指摘しており、200ギガビット毎秒のイーサネットポートが合計256ポートあり、これはどのスイッチチップよりも多いです。ブロードコムは、このような高密度の200ギガポート構成が「フラットで低遅延のAI/MLクラスター」を実現するために重要であると主張しています。
Nvidiaはデータセンターの世界で多くの力を持っていますが、今年のデータセンターGPUの売上は160億ドルと予想されており、買い手であるクラウド企業も多くの力を持っており、優位性は彼らの側にあります。
「大手クラウド企業はこれを望んでいます」と、InfiniBandからイーサネットへのピボットについてVelaga氏は述べています。「このような巨大な雲が大きな購買力を持つと、彼らはベンダーに分解を強いることができることを示しました。それが私たちが乗っている勢いです」とベラガ氏は述べています。「これらのクラウドはすべて、実際にはこれを望んでいません。彼らは、GPUを売り込む唯一の方法は、イーサネット経由で送信できる標準のNICインターフェイスを使用することであると主張しています。
「それはすでに起こっています。アマゾンを見てください、彼らはそのように購入しています。メタやグーグルを見てください、彼らもそのように購入しています。」