AI のパイオニア Cerebras は、ハイブリッド AI コンピューティングで「怪物の年」を迎えています
AI コンピューター メーカーは、あらゆる種類の AI や科学タスクに使用される大規模なコンピューター クラスターを構築するという新たな役割を見出しています。
クライアント G42 用に構築された超並列 AI コンピューターである Condor Galaxy 1 (通称「CG-1」) の梱包箱に立つ Cerebras の創設者 Andrew Feldman 氏。
世界は、有力な人工知能ベンダーである Nvidia の GPU チップに飢えています。これにより、競合他社であるアドバンスト・マイクロ・デバイセズ社やインテル社のチップ売上高は今のところ大幅に増加していない。しかし、それは新しい種類のコンピューティング モデルの構築に役立っている可能性があります。
世界最大のチップを搭載した巨大AIコンピューターCS-2を販売するAIコンピューティング新興企業セレブラス・システムズの共同創設者兼最高経営責任者（CEO）アンドリュー・フェルドマン氏は、「Nvidiaに代わる選択肢が、ある意味で1つあるという状況がますます高まっている」と語った。 。
フェルドマン氏とチームは 4 年前に Nvidia の GPU と競合するコンピュータの販売を開始しました。市場に向かう途中で面白いことが起こりました。フェルドマン氏は、自身のビジネスがハイブリッド型であることにますます気づき始めており、個々のシステムの販売もあるが、セレブラスが数カ月かけて構築し、専用の AI クラウド コンピューティング サービスとしてクライアントに代わって実行する大規模並列システムの方がはるかに多くの販売が行われています。
フェルドマン氏は、セレブラス社のビジネスは「完全に変わった」とZDNETに語った。クラウド サービス モデルとしては、「1 台または 2 台のマシンを購入し、1 台のマシンで [コンピューティング] ジョブを 1 週間実行するよりも、16 台のマシンで数時間実行したいと考えています。」
Cerebras の結果は、「ハードウェアの販売に関しては、より少ない規模でより大きな取引を行うことができ、独自のクラウドの管理に多くの時間と労力を費やすことになるでしょう。」
月曜日、デンバーで開催されたSC23と呼ばれるスーパーコンピューティングカンファレンスで、フェルドマン氏とチームは、拡大するAIクラウドの最新成果を発表した。
同社は、アラブ首長国連邦のアブダビに本拠を置く創立5年の投資会社であるクライアントG42向けに構築された巨大AIコンピューターCondor Galaxy 1、通称「CG-1」の構築を完了したと発表した。
「現在、私たちは非常に多くのスーパーコンピューティング能力を持っているため、他の人々があらゆる種類の創造的な方法で私たちのシステムを使用しています」とCondor GalaxyのFeldman氏は述べています。
今年初めに発表されたコンドル銀河は、地球から2億1200万光年離れたところにある渦巻銀河にちなんで命名された。このマシンはセレブラスの CS-2 を 64 台集めたものです。フェルドマン氏によると、CG-1の総額は、NVIDIAの8ウェイ「DGX」コンピュータの価格に基づくと、同数のNVIDIAのGPUチップの価格である1億5000万ドル程度よりも少し低い程度であるという。 。
「これは非常に良いビジネスだ」とフェルドマン氏はこのような高額チケット販売について語った。売上高に関して「我々は驚異的な年を迎えている」と同氏は語った。フェルドマン氏は、グラフコアやサンバ・ノヴァ・システムズなどの競合他社のことをほのめかしながら、「今四半期は、これまでの他のAIスタートアップ企業をすべて合わせたよりも多くの売上高を生み出すだろう」と付け加えた。
Condor Galaxy マシンは物理的にアブダビにあるのではなく、エクイニクスなどとクラウド サービス市場で競合するホスティング プロバイダーである、カリフォルニア州サンタクララに拠点を置く Colovore の施設に設置されています。
Cerebras は、Condor Galaxy の第 2 バージョン、つまり「CG-2」の建設を開始しており、これにはさらに 64 台のコンピューターとさらに 4 つの「エクサ FLOPS」の計算能力が追加されます。 (exaFLOP は 1 秒あたり 10 億回の浮動小数点演算です。Wikipedia を参照)、Condor Galaxy システムでは合計 8 exaFLOP になります。
Condor Galaxy システムは、最終構成では、654,000 個の AMD CPU コアによって監視される 576 台の CS-2 コンピューターを使用して、合計 36 エクサフロップになると予想されています。
新しいハイブリッド ビジネス モデルでは、成功の尺度はシステムの販売だけでなく、事前購入なしで Cerebras クラウドの容量をレンタルする新規顧客の割合も重要になる、とフェルドマン氏は述べました。 「ハードウェアを出荷すると、彼らがそれをセットアップし、その施設内でトライアルを実行したり実証したりすることもありましたが、今ではログインを提供します」とフェルドマン氏は新しい販売形態について説明した。
フェルドマン氏によると、CS-2ハードウェアの初期顧客である製薬大手グラクソ・スミスクラインもセレブラスのクラウドの容量を借りているという。 「彼らはオンプレミスに私たちのギアを持っており、巨大なランニングをしたいときは私たちのクラウドに来ます」と彼は説明しました。 「そしてそれは非常に興味深いモデルです。」
「現在、私たちは非常に多くのスーパーコンピューティング能力を持っているため、他の人々があらゆる種類の創造的な方法で私たちのシステムを使用しています」とフェルドマン氏は言いました。 「AI 分野では、彼らは興味深いモデルをトレーニングしており、スーパー コンピューティング分野では、興味深い仕事を行っています。これは他の誰にも当てはまりません。」
フェルドマン氏は、Condor Galaxy で行われた AI の「信じられないほど興味深い」取り組みとして、OpenAI の GPT に似たオープンソースの大規模言語モデルの開発を挙げました。このプログラムは、機械学習リポジトリ「Hugging Face」上にある 30 億のニューラル ネットワーク「パラメータ」を備えた最もパフォーマンスの高いモデルであり、ダウンロード数は 10 億を超えている、とフェルドマン氏は述べています。このプログラムは、スマートフォン上で実行して AI 推論を実行できるほど小さいものであり、それが目的であるとフェルドマン氏は述べた。
フェルドマン氏は科学的研究の一例として、SC23イベントの主催者であるコンピューティング機械協会が授与する栄誉あるゴードン・ベル賞の最終候補となった、サウジアラビアのキング・アブドラ科学技術大学の学者らによる研究論文を挙げた。
「私たちは彼らに地震処理の記録を破るために、コンドル・ギャラクシーに時間を貸しました」とフェルドマン氏は述べた。
フェルドマン氏によると、コンドル・ギャラクシーの最初のバージョンであるCG-1は完成までに70日かかったという。 CG-2マシンは「来年初め」に完成する予定だ。同社はすでに Condor Galaxy-3 を計画しており、これにはさらに 64 台のマシンとさらに 4 エクサ FLOPS が追加され、システム合計は 12 エクサ FLOPS になります。
Condor Galaxy のようなマシンの重要な利点の 1 つは、1 と 2 の両方において、システムのエンジニアリングであるとフェルドマン氏は述べています。同数のGPUチップをまとめるのは信じられないほど難しいと同氏はZDNETに語った。 「1,000 個の GPU をネットワーク化できる人の数は非常に少ないです」とフェルドマン氏は言います。 「おそらく25社くらいですかね。」
「これほど大量の分散コンピューティングを効率的に利用するのは非常に困難であり、非常に難しい問題だ」とフェルドマン氏は語った。 「これは私たちが根本的に解決する問題の 1 つです。」
Condor Galaxy 1 および 2 のすべての CS-2 コンピューターには、Cerebras の新しい AI チップの 1 つである「Wafer-Scale-Engine」(WSE) が搭載されています。これらの世界最大のチップには、AI 命令を並列処理するための 850,000 個の個別の「コア」が含まれており、複数の GPU チップに相当します。
さらに、CS-2 コンピュータは、Cerebras の専用「ファブリック」スイッチである Swarm-X とその専用メモリ ハブである Memory-X によって補完されており、これらは CS-2 をクラスタ化するために使用されます。