Googleの量子的進歩は「本当に注目に値する」 - しかし、やるべきことはまだある
AI コンピューティングは推論によって今後も進化し続けるため、まったく新しい数ギガワットの AI データセンターが必要になります。
チップ新興企業ライトマッターの共同創設者トーマス・グラハム氏（右）は、ブルームバーグ・インテリジェンスのマンディープ・シン氏に、2026年までにニューヨーク市の消費電力の8倍に相当するデータセンターがAIの導入に向けて建設される予定だと語った。
Nvidia とそのパートナー、顧客は、GPT-4 などの巨大な人工知能 (AI) プログラムのトレーニングという計算集約型のニーズに対応するために、世界中でますます大規模なコンピューター施設を着実に構築してきました。より多くのAIモデルが実用化されるにつれて、その取り組みは今後も重要性を増していくだろうと、テクノロジー大手にサービスを提供するある新興企業は語る。
「人々はより多くのコンピューティングを求めるようになるでしょう。それは必ずしもスケーリング法のせいではなく、現在これらのものを導入しているからです」と、光コンピューティングの新興企業である Lightmatter の共同創設者である Thomas Graham 氏は、先週ニューヨークで Mandeep Singh 氏とのインタビューで語った。ブルームバーグ・インテリジェンスのシニア・テクノロジー・アナリスト。
Singh 氏は、GPT-4 などの大規模言語モデル (LLM) が「スケール」し続けるかどうか、つまり、OpenAI などがより野心的なモデルを実現しようとするにつれてサイズが拡大していくかどうかを Graham 氏に尋ねました。
Graham氏は質問をひっくり返し、AIの計算能力の次の段階は訓練されたニューラルネットを実稼働環境に導入することであると示唆した。
「トレーニングを研究開発と見なす場合、推論はまさに展開です。それを展開する際には、モデルを実行するための大型コンピューターが必要になります」とグラハム氏は述べています。このディスカッションは、ブルームバーグ・インテリジェンスが主催した「Gen AI: 生産性の約束を果たせるか?」と題された一日がかりのカンファレンスの一環として行われた。
グラハム氏の見解は、NVIDIA CEOのジェンセン・フアン氏の見解と同調している。彼はここ数カ月ウォールストリートに、「エージェント」形式のAIを「スケールアップ」するには、「（AIモデルの）より洗練されたトレーニングだけでなく、ますます洗練された推論も必要になる」と語った。 " そしてその結果、"推論計算が指数関数的にスケールする" ということです。
「トレーニングを研究開発と見なす場合、推論はまさに展開です。それを展開する際には、モデルを実行するための大型コンピューターが必要になります」とグラハム氏は述べています。
2018 年に設立された Lightmatter は、光接続を使用して単一の半導体ダイ上で複数のプロセッサを結合できるチップ技術を開発しています。これは、AI データセンターの構築に必要な数十、数百、さらには数千のチップ間の従来のネットワーク リンクを置き換えることができます。光インターコネクトは、その名の通り、銅線よりもわずかなエネルギー消費でデータを高速に転送できます。
このテクノロジーをデータセンターのラック内のコンピューター間およびラック間で使用すると、コンピューターネットワークが簡素化され、データセンター全体がより経済的になる、とグラハム氏はシン氏に語った。
「つまり、データセンターにあるプリンター回路基板上のサーバーとラック間のケーブル配線の両方にある銅配線を完全に取り除くか、すべてをファイバーとすべての光ファイバーに置き換えることで、帯域幅が大幅に増加します。ゲット」とグラハムは言った。
グラハム氏によると、ライトマッターは多数のハイテク企業と協力して新しいデータセンターの計画を進めているという。 「データセンターはゼロから構築されています」と彼は言いました。 Lightmatterは既に、受託半導体製造会社であるGlobal Foundriesとの提携を発表している。同社はニューヨーク州北部に施設を構え、Advanced Micro Devicesを含む多数のチップメーカーにサービスを提供している。
コラボレーション以外では、グラハム氏はパートナーや顧客の名前を挙げることを拒否した。同氏の講演の含意は、同氏の会社がブロードコムやマーベルなどのシリコンプロバイダーと提携して、グーグル、アマゾン、マイクロソフトなどのデータセンター用に独自のプロセッサを設計するハイテク大手向けにカスタム統合部品を製造しているというものだった。
導入の規模感についてグラハム氏は、稼働にギガワットの電力を必要とする新しい AI データセンターが少なくとも 12 か所建設中であると指摘しました。
「参考までに、ニューヨーク市は平均して 1 日に 5 ギガワットの電力を消費しています。つまり、複数のニューヨーク市が電力を供給していることになります。」同氏によると、2026年までに世界のAI処理には「特にAIデータセンター、つまりニューヨーク市8個分」の40ギガワットの電力が必要になると予想されているという。
Lightmatterは最近ベンチャーキャピタルから4億ドルの注入を受けており、企業価値は44億ドルとなっている。ライトマターは「今後数年以内に」量産に入るつもりだとグラハム氏は語った。
シン氏が会社の計画を覆す可能性があるのは何かと尋ねると、グラハム氏はAIコンピューティングインフラストラクチャを拡張する継続的な必要性に自信を表明した。
「今後数年以内に研究者たちが、今日のアルゴリズムよりはるかに少ないコンピューティングで、はるかに高性能で、AGI (汎用人工知能) をより速く達成できる、AI を実行するための新しいアルゴリズムを思いついたとしたら、それは猿を投げつけることになるだろう」指数関数的なコンピューティングへの投資を継続したいというすべての人の思い込みを揺るがすことになります」と彼は言いました。