IBM の業界変革の青写真が AI、5G、コラボレーションをどのように活用するか
同社はまた、従来の DDR5 メモリ チップを使用した単一マシン上での 1 兆パラメータの AI モデルの初期トレーニングも実証しています。
Cerebras は、推論時に思考連鎖を使用して、より小さな AI モデルをより大きなモデルと同等かそれ以上のモデルにしました。
Cerebras Systems は火曜日、「思考の連鎖」として知られる生成型人工知能 (AI) で人気が高まっているアプローチを追加することで、Meta Platforms の Llama が小型バージョンでも大型バージョンと同様に動作できるようになったと発表しました。 AIコンピュータメーカーは、AIに関する年次カンファレンスNeurIPSの開始時にこの進歩を発表した。
「これはクローズドソースのみの機能ですが、私たちはこの機能を最も人気のあるエコシステムであるLlamaにも導入したかったのです」とCerebrasの製品マーケティング活動の責任者であるJames Wang氏はZDNETのインタビューで語った。
このプロジェクトは、Cerebras が自社の専用 AI コンピューター「CS-3」の機能を実証するために行った一連のオープンソース プロジェクトの最新のものであり、同社は AI の現状と競合する GPU チップと競合するためにこのコンピューターを販売しています。通常のベンダーである Nvidia と AMD から提供されます。
同社は、わずか 700 億のパラメータを使用する Llama 3.1 オープンソース AI モデルをトレーニングすることで、さまざまなベンチマーク テストで、はるかに大きい 4,050 億パラメータの Llama バージョンと同等以上の精度を達成することができました。
これらのテストには、MIT と Meta で開発された「複雑な推論タスク」の CRUX テストと、カリフォルニア大学で開発されたコード生成課題用の LiveCodeBench が含まれます。バークレー大学、MIT、コーネル大学など。
思考の連鎖により、より少ないトレーニング時間、データ、コンピューティング能力を使用してモデルが大規模モデルと同等またはそれを超えるパフォーマンスを実現できるようになります。
「基本的に、推論時にさらに考えるだけで、約 7 倍大きいモデルである Llama 3.1 405B を打ち負かしています」と Wang 氏は述べています。
思考連鎖処理の背後にある考え方は、AI モデルが最終的な答えを追求するために実行される一連の計算を詳細に記述し、「説明可能な」 AI を実現することです。このような説明可能な AI は、答えの根拠を明らかにすることで、人間に AI の予測に対するより大きな信頼を与えることができると考えられます。
OpenAI は、最近リリースされた「o1」大規模言語モデルにより、思考連鎖アプローチを普及させました。
「Cerebras Planning and Optimization」（CePO）と呼ばれる、o1 に対する Cerebras の回答は、プロンプトが送信された時点で、Llama に「与えられた問題を段階的に解決するための計画を作成する」ことを要求することによって機能します。計画を繰り返し実行し、それぞれの実行に対する応答を分析して、「最良の」答えを選択します。
「コードが文字通りトークンごとにトークンごとに記述される従来の LLM とは異なり、これは生成された独自のコードを調べて確認します。これは意味があるでしょうか?」王氏は説明した。 「構文エラーはありますか? ユーザーが要求したことは実際に達成されますか? そして、計画の実行とクロスチェックのこの種のロジック ループが複数回実行されます。」
Cerebras は、Llama 3.1 の 405B モデルと同等かそれを超えることに加えて、最新の Llama バージョン 3.3 を採用し、Anthropic の Claude 3.5 Sonnet や OpenAI の GPT-4 などの「フロンティア」大規模言語モデルのレベルで実行させることができました。ターボ。
「一般的に中型と考えられている70Bモデルを採用し、フロンティアレベルの性能を達成したのはこれが初めてではないかと思います」と王氏は語った。
ユーモラスなことに、セレブラスはまた、OpenAI の o1 のコード名「ストロベリー」をほのめかすプロンプトである「ストロベリー テスト」をラマに受けさせました。 「strrawberry」のように「r」の数を掛け合わせると、言語モデルが r の数を伝えるように求められると、多くの場合失敗します。 Llama 3.1 は、一連の思考を使用して、さまざまな数の r を正確に関連付けることができました。
企業の観点から見ると、Cerebras は自社の AI コンピューター CS-3 のハードウェアとソフトウェアの利点を実証したいと考えています。
Llama の作業は、世界最大の半導体である Cerebras の WSE3 チップを使用して CS-3 上で行われました。同社は、Nvidia および AMD チップで実行される o1 やその他のモデルで発生する典型的な遅延を発生させることなく、思考連鎖上で Llama 3.1 70B モデルと新しい Llama 3.3 を実行できたと Wang 氏は述べています。
3.1 70B の思考連鎖バージョンは、Cerebras CS-3 上で実行するときに「リアルタイムで実行される唯一の推論モデル」であると同社は主張しています。 「OpenAI 推論モデル o1 は数分で実行されます。CePO は数秒で実行されます。」
最近「世界最速の推論サービス」と呼ぶものを導入したセレブラス社は、CS-3 マシンは GPU チップ上の最速サービスよりも 16 倍高速で、毎秒 2,100 トークンが処理されると主張しています。
Cerebras の実験は、プロンプトがより複雑になるにつれて、AI モデルのトレーニングだけでなく、本番環境での予測の作成も、これまで以上に大きなコンピューティング ニーズに対応できるようになっているという認識が高まっていることを裏付けています。
一般に、大規模な言語モデルの精度は、トレーニングと推論の両方で使用されるコンピューティング量に比例して向上するとワン氏は述べています。ただし、パフォーマンスが向上する要因は、それぞれの場合に使用されるアプローチによって異なります。
「技術が異なれば、コンピューティングのスケールも異なる程度になります」と Wang 氏は述べています。 「線の傾きは異なります。驚くべきこと、そしてなぜスケーリングの法則が話題になるのかというと、それがまったく際限なく拡大縮小するという事実です。」
「古典的な見方では、改善は頭打ちになり、アルゴリズムのブレークスルーが必要になるだろう」と彼は言う。 「スケーリングの法則は、『いいえ、実質的な制限なしでより多くのコンピューティングを投入できる』と言っています。ニューラル ネットワークの種類、推論方法などは改善率に影響しますが、スケーラブルな性質には影響しません。」
さまざまな実装では、思考の連鎖は、その中間結果の冗長な一連のメッセージ、または「思考中」などの一種のステータス メッセージを出力できます。 Cerebras がどちらを選択したかを尋ねると、Wang 氏は実際の出力を自分自身は見ていないが、「おそらく冗長でしょう。Llama やオープンソース モデルに役立つように設計されたものをリリースすると、人々は中間結果を見ることを好みます。」と述べました。
Cerebras は、55 テラバイトの汎用 DRAM を使用して、1 台のマシン上で 1 兆パラメータの言語モデルの初期トレーニングを実証します。
また火曜日、セレブラスは、米国エネルギー省が運営する研究所であるサンディア国立研究所と実施した研究プロジェクトにおいて、1兆のパラメータを持つ大規模な言語モデルの「初期」トレーニングを示したと発表した。
この作業は、専用のメモリ コンピュータである MemX と組み合わせた 1 台の CS-3 上で行われました。 MemX の特別バージョンは、モデルのパラメータ重みを保持するために 55 テラバイトのメモリに増強され、Cerebras の専用ネットワーキング コンピュータである SwarmX 経由で CS-3 にストリーミングされました。
Cerebras によれば、CS-3 システムは、同等のメモリにアクセスするために必要な Nvidia の最上位「Grace Blackwell 200」コンボ CPU および GPU チップ 287 個を置き換えるものとなります。
1 台の CS-3 と MemX を組み合わせると、標準的な通信ラック 2 台分の機器が必要になると Wang 氏は述べています。同社は、これに必要なスペースと電力は同等の GPU 配置の 1% 未満であると主張しています。
MemX デバイスは、より高価な「高帯域幅メモリ」(HBM) を搭載した GPU カードとは対照的に、DDR-5 として知られる汎用 DRAM を使用します。
「HBMのサプライチェーンに影響を与えないため、調達が非常に簡単で、価格も安い」とWang氏は語った。
Cerebras は、同社のクラスター化システムにより、1 兆パラメータ モデルでのプログラミング作業に必要なコードの量が大幅に削減されると主張しています。
Cerebras は、本当の利益はプログラミング モデルにあると賭けています。 Wang 氏によると、数百の GPU を連携してプログラムするには、AI モデルの Python、C、C++、シェル コード、その他のリソースを調整するために、合計 20,507 行のコードが必要です。同じタスクを 565 行のコードを使用して CS-3 マシンで実行できます。
「これはハードウェアの観点から必要なだけではなく、プログラミングの観点から見ても非常に簡単です。なぜなら、この数兆個のパラメータ モデルをこのメモリ ブロックに直接ドロップできるからです」と同氏は述べていますが、GPU には「管理」が必要です。 HBM メモリの「数千の 80 ギガバイト ブロック」にわたってパラメータを調整します。
研究プロジェクトでは、AIモデルを50のトレーニングステップにわたってトレーニングしたが、AIモデルは「収束」、つまり完成した状態にまではトレーニングされていなかったが、これは非公開だった。兆パラメータのモデルをトレーニングして収束させるには、さらに多くのマシンと時間が必要になります。
しかし、セレブラスはその後、サンディアと協力して 16 台の CS-3 マシンでトレーニングを実行しました。ワン氏によると、パフォーマンスは「直線的」に向上し、クラスタに配置されたコンピュータの数に比例してトレーニングの精度も向上したという。
「GPU は常に線形スケーリングを主張してきましたが、それを達成するのは非常に困難です」と Wang 氏は言います。 「当社のウエハスケールクラスタの要点は、メモリはこの統合されたブロックであり、コンピューティングは分離されており、間にファブリックがあるため、それについて心配する必要がないということです。」
サンディアとの共同作業では収束するようにモデルをトレーニングしませんでしたが、このような大規模モデルのトレーニングは「顧客にとって非常に重要です」とワン氏は述べています。 「これは文字通り、莫大な費用がかかる大規模な実行を行う前のステップです」、つまり完全な収束を意味すると同氏は述べた。
同社の最大顧客の一つであるアラブ首長国連邦の投資会社G42は「世界クラスの成果を達成することに非常に意欲を持っている」と同氏は語った。 「彼らは非常に大規模なモデルをトレーニングしたいと考えています。」
サンディア社はおそらく「最終結果」が出たら実験について発表するだろうとワン氏は語った。
NeurIPS カンファレンスは AI 分野の主要なイベントの 1 つであり、多くの場合、画期的な成果が初めて一般に公開されます。 1 週間のイベントの完全なスケジュールは、NeurIPS Web サイトでご覧いただけます。