Cerebras は 2,700 万個の AI 「コア」を備えた巨大なコンピューター システムを構築しました

コンドル・ギャラクシーは、セレブラスとアブダビのG42とのパートナーシップの第一段階であり、最終的には複数の大陸にまたがるクラスター化システムに数億ドルをもたらすことが期待されている。

Cerebras の共同創設者兼 CEO の Andrew Feldman 氏は、パートナーである Colovore のカリフォルニア州サンタクララのホスティング施設に設置される前に、CS-2 システムの梱包箱の上に立っているのが見えます。

AIコンピューティングの共同創設者兼最高経営責任者（CEO）のアンドリュー・フェルドマン氏は、人工知能をめぐる熱狂は「シリコンバレーだけのことでもなく、米国に限ったことでもなく、今や世界中に広がり、世界的な現象だ」と語る。セレブラス・システムズを立ち上げる。

その精神に基づき、セレブラスは木曜日、クライアントであるアブダビに本拠を置く創立5年の投資会社G42に代わって、コンドル・ギャラクシーという同社が「世界最大のAI用スーパーコンピューター」と呼ぶものを構築する契約を結んだと発表した。アラブ首長国連邦。

このマシンは、ニューラル ネットワークの「トレーニング」、つまりニューラル ネットワークの設定、その「パラメーター」、または「重み」を第 2 段階に十分なレベルに調整する必要がある場合の機械学習の一部に焦点を当てています。 、「推論」段階として知られる予測を行います。

フェルドマン氏によると、コンドル・ギャラクシーは、セレブラスとG42の数ヶ月にわたる協力の成果であり、両社の戦略的パートナーシップの最初の大きな発表となる。

フェルドマン氏はZDNETのインタビューで、最初の契約はセレブラスにとって1億ドル以上の価値があると語った。 Cerebras が複数の段階で Condor Galaxy を構築するため、最終的にはその収益が数倍に拡大し、数億ドルに達する見込みです。

コンドル銀河は、地球から 2 億 1,200 万光年離れたところにある宇宙系にちなんで名付けられました。 CG-1 と呼ばれる初期構成では、このマシンは 32 台の Cerebras の専用 AI コンピューター CS-2 で構成されており、そのチップ「Wafer-Scale-Engine」（WSE）には、合計で2,700 万個のコンピューティング コア、41 テラバイトのメモリ、および 194 兆ビット/秒の帯域幅。これらは、36,352 個の AMD の EPYC x86 サーバー プロセッサによって監視されています。

32 台の CS-2 マシンが CG-1 としてネットワーク化されました。

このマシンは 2 エクサ フロップで動作します。つまり、1 秒あたり 10 億回の浮動小数点演算を処理できます。

The Largeness は、経験豊富な半導体およびネットワーキングの起業家およびイノベーターによって 2016 年に設立された Cerebras によるビッグネスの最新事例です。同社は 2019 年に、これまでに製造された最大のチップである、12 インチの半導体ウェーハのほぼ全表面を占めるチップである WSE を発表し、世界を驚かせました。 CS-2 マシンに動力を供給するのは、2021 年に導入された WSE-2 です。

CG-1 の CS-2 は、Cerebras の専用「ファブリック」スイッチである Swarm-X とその専用メモリ ハブである Memory-X によって補完されており、これらは CS-2 をクラスタ化するために使用されます。

AI コンピューターのサイズに関する一般的なレジストリがないため、AI 用の最大のスーパーコンピューターであるという主張はやや誇張的です。スーパーコンピューターの一般的な基準である TOP500 リストは、Prometeus GmbH によって管理されており、いわゆるハイパフォーマンス コンピューティングに使用される従来のスーパーコンピューターのリストです。

これらのマシンは、いわゆる 64 ビット精度で動作するため、比較することはできない、とフェルドマン氏は述べました。各オペランド、つまりコンピュータが処理する値は、コンピュータに対して 64 ビットで表現されます。 Cerebras システムは、各システムに 16 ビットのみを使用して、「FP-16」と呼ばれるより単純な形式でデータを表します。

米国エネルギー省オークリッジ国立研究所のスーパーコンピューター、フロンティアは、64 ビット高精度クラスのマシンで、1.19 エクサ フロップスで動作する世界で最も強力なスーパーコンピューターです。しかし、2 エクサ フロップの CG-1 と直接比較することはできない、とフェルドマン氏は言いました。

確かに、CG-1 の膨大な計算能力は、地球上で考えられる多くのコンピューターとは異なります。 「50 万台の Apple MacBook よりも高い計算能力を備えた 1 台のコンピュータが、連携して 1 つの問題をリアルタイムで解決することを考えてみてください。」とフェルドマン氏は言いました。

Condor Galaxy マシンは物理的にアブダビにあるのではなく、エクイニクスなどとクラウド サービス市場で競合するホスティング プロバイダーである、カリフォルニア州サンタクララに拠点を置く Colovore の施設に設置されています。 Cerebrasは以前、大規模な言語モデルを高速化するために、「Andromeda」という名前のモジュール式スーパーコンピュータに関してColovoreと提携することを11月に発表していた。

フェーズ 1 の CG-1 の統計

フェーズ 2 の CG-1 の統計

複数年にわたるパートナーシップの一環として、Condor Galaxy はバージョン CG-9 まで拡張する予定だとフェルドマン氏は述べています。今年の第 4 四半期までに予定されている提携のフェーズ 2 では、CG-1 の設置面積が 2 倍の 64 台の CS-2 に拡大され、合計 5,400 万個のコンピューティング コア、82 テラバイトのメモリ、388 テラフロップスの帯域幅を備えます。このマシンはスループットを 2 倍にして 4 エクサ フロップの計算にします。

すべてをまとめると、2024 年後半に提供される提携のフェーズ 4 では、Cerebras は、それぞれが 4 エクサ フロップで実行される 9 つの相互接続されたシステムの「コンステレーション」と呼ばれるものをつなぎ合わせ、合計で同社が「世界最大の相互接続された AI スーパーコンピューター」と呼ぶものを構築するには、世界中の拠点で 36 エクサ フロップスの容量を使用します。

「これは、米国の G42 向けに私たちが構築している 4 台のエクサ フロップ マシンのうちの最初のものです」とフェルドマン氏は説明しました。「その後、世界中でさらに 6 台、合計 9 台の相互接続された 4 エクサ マシンを構築する予定です」 -フロップ マシンは 36 エクサ フロップを生成します。」

このマシンは、Cerebras がクラスタ化されたコンピュータ システムを構築するだけでなく、顧客のためにそれを運用するのは初めてです。この提携により、Cerebras は結果として複数の収益源を得ることができます。

フェルドマン氏によると、この提携はさまざまな段階を経るにつれて、セレブラスによるG42への直接販売で数億ドル規模に拡大する予定だという。

「この契約は、他のすべての新興企業が生涯にわたって販売した金額を合計したよりも大きいだけでなく、現在の億（ドル）を超えるだけでなく、その2〜3倍に成長することを意図している」と彼は述べた。 Samba Nova Systems や Graphcore などの競合する AI スタートアップをほのめかしています。

さらに、「私たちは一緒に、クラウドを通じて余剰容量を再販売します」。これは、G42 が使用していないときに、Cerebras の他の顧客に CG-1 の容量をレンタルさせることを意味します。同氏は、この提携により「明らかに当社のクラウドにまったく新しい規模が与えられ」、その結果「専用のAIスーパーコンピュータをサービスとして追求する機会が得られた」と述べた。

つまり、クラウド AI の計算能力が欲しい人は誰でも、「希望に応じて、世界最大のスーパーコンピューターの 1 つを 1 日、1 週間、1 か月間利用できる」ということになります。

AI に対する野心は、機械と同じくらい大きいようです。 「今後 60 日間に、CG-1 でトレーニングされた非常に興味深いモデルをいくつか発表する予定です」とフェルドマン氏は語った。

フェルドマン氏によると、G42は25カ国に約2万2000人の従業員を擁し、傘下に9つの事業会社を抱える世界的な複合企業だという。同社の子会社 G42 Cloud は、中東最大の地域クラウドを運営しています。

「G42とセレブラスの共通のビジョンは、ヘルスケア、エネルギー、気候変動対策などにわたる社会の最も差し迫った課題に対処するためにコンドル・ギャラクシーが活用されるということだ」とG42クラウドの最高経営責任者（CEO）タラル・アルカイシ氏は準備済みの発言で述べた。

G42 と同じくアブダビの投資会社 Mubadala Investments との合弁事業。 Co. の M42 は、世界最大のゲノミクス シーケンサーの 1 つです。

「彼らはヨーロッパと中東全体でAIとヘルスケアアプリケーションの利用における一種の先駆者だ」とG42のフェルドマン氏は述べた。同社は過去 3 年間で 300 冊の AI 出版物を制作しました。

「彼ら（G42）は、非常に大規模なAIスーパーコンピューターの構築経験があり、大規模なAIモデルの開発と実装の経験があり、非常に大規模なデータセットの操作と管理の経験がある人材を求めていた」とフェルドマン氏は述べた。 、私たちはこの9か月で、ある意味、本当に磨きをかけてきました。」

CG-1 マシンは、必要なコード量を何倍も追加することなく、ますます大規模なニューラル ネットワーク モデルに拡張できるとフェルドマン氏は強調しました。

「このテクノロジーの重要な要素の 1 つは、G42 のような顧客とその顧客が、いわば当社のマシンの恩恵を迅速に得られるようにすることです」とフェルドマン氏は述べています。

同氏はスライドプレゼンテーションで、OpenAIのGPTのような10億パラメータのニューラルネットワークを1,200行のコードで単一のNvidia GPUチップに搭載する方法を強調した。しかし、ニューラル ネットワークを 28,415 個の Nvidia GPU で実行される 400 億のパラメータ モデルに拡張するには、デプロイに必要なコードの量がほぼ 30,000 行に膨れ上がるとフェルドマン氏は述べています。

ただし、CS-2 システムの場合、1,000 億パラメータのモデルを同じ 1,200 行のコードで実行できます。

Cerebras は、Nvidia の GPU を接続するために必要なコードが爆発的に増加するのに対し、同量のコードでますます大規模なニューラル ネットワーク モデルに拡張できると主張しています。

「400 億、1,000 億のパラメーター、あるいは 5,000 億のパラメーターをモデルに設定したい場合は、まったく同じ 1,200 行のコードを使用することになります」とフェルドマン氏は説明しました。 「これが本当に重要な差別化要因です。これを行う必要がないということです」と、より多くのコードを書く必要がない、と彼は言いました。

フェルドマン氏にとって、最新作の規模はそれ自体が大きいというだけでなく、最大のチップから最大のクラスタ化システムにスケールアップすることで、質的に異なる結果を得ようとする試みを表している。

「ご存知のように、私たちが会社を設立したとき、クールなコンピューターを構築することで世界を変えることに貢献できると考えていたでしょう」とフェルドマン氏は振り返りました。 「過去 7 年間にわたって、私たちはますます大型のコンピューターを構築し、中には最大級のコンピューターもいくつか構築しました。

「私たちは今、想像を絶するほど巨大な建物を構築する途中にいます。データセンターを歩き回って、ラックからラックへと機器がうなり音を立てるのを目にするのは素晴らしいことです。」