IBMの産業変革の青写真がAI、5G、そしてコラボレーションをどのように活用しているか

ビルディングブロックアプローチは、結合されたマシンの数に直接比例して、GPUと比較して計算時間を劇的に短縮することができます。

アンドロメダは、専用のファブリックスイッチを介して接続された16台のセレブラのCS-2 AIコンピュータのクラスターであり、ニューラルネットワークの設定を更新するメモリーマシンによって監視されています。セレブラは、大規模な言語モデルを実行するためにマシンをプログラムすることがAIにおけるクラスターコンピューティングの波の始まりであると述べています。

大量の自然言語入力を処理する機械学習プログラムの現在の流行は、コンピューティングの限界を押し広げ、独自のスーパーコンピュータ軍拡競争を促進しています。

かつてスーパーコンピュータが科学的問題のためだけに存在していた時代から、LLM（大規模言語モデル）として知られるAIプログラムの開発が進む中、企業は世界のトップ研究所が持つのと同じ計算能力を求めるようになっています。

例えば、AI用チップの標準を担うNvidiaは、9月に企業がサービスとしてレンタルできる大規模言語モデル専用のクラウドコンピューティング施設を発表しました。

月曜日、カリフォルニア州サニーベールに拠点を置く設立6年のスタートアップ、セレブラスシステムズは、世界のトップスパコンであるフロンティアと同じく、毎秒1京の浮動小数点演算を行うスパコン「アンドロメダ」を発表しました。また、アンドロメダは、数千のGPUチップの能力を超えたLLMなどのタスクで劇的なスピードアップを達成できます。

CS-2は、昨年セレブラが導入した特別なデータスイッチSwarm-Xによって結びつけられており、これによりCS-2は第三のマシンMemory-Xに接続されます。Memory-Xは、各CS-2にブロードキャストされる神経の「重み」またはパラメータの中央リポジトリとして機能します。各CS-2での行列の積の結果は、重みへの勾配更新としてSwarm-Xを通じてMemory-Xに戻され、Memory-Xが重みを再計算する作業を行い、サイクルが再び始まります。

アンドロメダは、スイッチ「Swarm-X」で相互接続された16台のCerebrasのCS-2 AIコンピュータを組み合わせて、ブロック構造で組み立てられ、神経の重みを更新する中央調整コンピュータ「Memory-X」と通信しました。

アンドロメダクラスターは、カリフォルニア州サンタクララに本社を置くコロボアによってクラウド利用可能なマシンとして設置されており、エクイニクスなどの企業とホスティングサービス市場で競争しています。

モジュラー設計の秘密は、CS-2マシンがスパコンに通常必要とされる特異な並列プログラミングの努力なしに、単一のシステムとしてオーケストレーションできることです。最大192台のCS-2が同時に動作でき、Cerebrasソフトウェアは各CS-2に計算を割り当て、Swarm-Xファブリック全体の重みと勾配のトラフィックを管理する低レベルの機能を処理します。

「従来のスーパーコンピューターとは異なり、1つのCPU上の1つのジョブであるかのように作業を送信できます」と、Jupyterノートブックから直接Feldman氏は述べています。「あなたがしなければならないのは、4つのことを指定することだけです。どのモデルとどのパラメータ。16個のうち、使用するCS-2の数。完了したら結果を送信する場所。そして、モデルをどのくらいの時間実行したいか、それだけで、並列プログラミングも分散コンピューティングの作業も必要ありません。」

Cerebrasは、エキゾチックな並列分散プログラミングコードを書く必要がないCS-2のクラスタリングの容易さを強調しています。

アルゴンヌチームなどの初期ユーザーは、アンドロメダアプローチが数千のNvidia GPUを使用するいくつかのスーパーコンピュータに勝ることができ、メモリ制限のためにスーパーコンピュータでは実行できなかったいくつかのタスクを実行できることを証明しています。