ニューラルマジックのスパース性、Nvidiaのホッパー、アリババのネットワークが最新のMLPerf AIベンチマークでの最初の成果の中にあります。
AI用チップの最新のベンチマークテストは、機械のクラスターや、より効率的にするためのニューラルネットのプルーニングを含む、ますます増大するスケールに対処するための新しいアプローチを示しました。
Nvidiaのホッパー、最新世代のGPU設計は、ニューラルネットハードウェアのMLPerfベンチマークテストに登場しました。このチップは素晴らしいスコアを示し、単一チップシステムが古いタイプのA100を使用した複数チップシステムを上回る結果を出しました。
機械学習の人工知能のトレンドは、ますます大きなニューラルネットワークに向かっています。GoogleのPathways言語モデルのような最大のニューラルネットは、そのパラメータ、つまり「重み」によって測定され、500兆を超える重みを持ち、追加の重みが使用される計算能力を増加させます。
その増大するサイズにはどのように対処するのでしょうか。一方ではより強力なチップを使用し、もう一方ではソフトウェアの一部をダイエットさせることによってです。
木曜日に、MLPerfテストを運営するコンソーシアムであるMLCommonsによって、ニューラルネットワークが予測を行うためにどれだけ速く実行できるかの最新のベンチマークテストが発表されました。報告された結果には、3月に発表されたNvidiaの「ホッパー」GPUの初のベンチマーク結果を含むいくつかの重要なマイルストーンが含まれていました。
同時に、中国のクラウド大手アリババは、単一のマシンとして機能するコンピュータのクラスター全体の初めて報告された結果を提出し、達成可能な総スループットの点で他の提出を圧倒しました。
スタートアップのNeural Magicは、「プルーニング」と呼ばれるニューラルネットワークの一部を切り取る手法を使用して、通常のプログラムとほぼ同等の性能を発揮しながら、必要な計算能力を減らしたスリムなソフトウェアを実現する方法を示しました。
「私たちは皆、恥ずかしいほどの力任せで密なモデルを訓練しています」と、Neural Magicの製品エンジニアリングリードであるマイケル・ゴインは、ZDNetとのインタビューで、Pathwaysのような巨大なニューラルネットについて言及しました。「私たちは皆、もっと良い方法があることを知っています。」
ベンチマークテストであるInference 2.1は、訓練されたニューラルネットワークに新しいデータを与え、その出力として結論を出さなければならないAIへの機械学習アプローチの一部を表しています。このベンチマークは、コンピュータがImageNetを含むいくつかのタスクに対してどれだけ速く答えを出せるかを測定します。ImageNetでは、ニューラルネットワークが猫や犬などの写真に写っている物体を説明するためのいくつかのラベルのうちの1つを適用することが課題です。
チップとシステムメーカーは、1秒間に処理できる写真の数や、コンピュータにリクエストを送信し、予測を返すための総往復時間であるレイテンシをどれだけ低くできるかなどの指標で競い合っています。
さらに、一部のベンダーは、データセンターが大規模化し、膨大な電力を消費するようになるにつれて、ますます重要な要素となる機械のエネルギー消費量を示すテスト結果を提出しています。
問題のもう一方の半分、ニューラルネットワークのトレーニングは、MLCommonsが別に報告する別のベンチマーク結果のスイートでカバーされており、最新のラウンドは6月に行われました。
インファレンス2.1レポートは、4月の前回のインファレンスベンチマークに続いています。今回は、報告された結果はデータセンターと「エッジ」で動作するコンピュータシステムにのみ関連しており、「エッジ」という用語は従来のデータセンターのマシン以外のさまざまなコンピュータシステムを含むようになっています。データセンターの結果用のスプレッドシートと、エッジ用の別のスプレッドシートが掲載されています。
最新の報告には、4月の報告でデータセンターと一緒にまとめられていたTinyMLとして知られる超低消費電力デバイスやモバイルコンピュータの結果は含まれていませんでした。
全体で、ベンチマークにはチップメーカーやパートナー、Neural Magicのようなスタートアップから5,300件の提出がありました。これは、4月に報告された前回のラウンドよりもほぼ40パーセント増加したことになります。
過去と同様に、Nvidiaは多くのタスクにおける推論の高速化で最高の評価を得ました。NvidiaのA100 GPUは、しばしばそうであるように、Alibaba、ASUSTeK、Microsoft Azure、Biren、Dell、Fujitsu、GIGABYTE、H3C、Hewlett Packard Enterprise、Inspur、Intel、Krai、Lenovo、OctoML、SAPEON、Supermicroなどのパートナーによって構築されたシステムにおいて、IntelおよびAdvanced Micro Devicesのプロセッサと統合され、提出数で支配的でした。
Nvidia自身が提出した2つのエントリーが、データセンターセグメントの結果において「H100」と指定されたHopper GPUを使用しています。1つのシステムはホストプロセッサーとしてAMD EPYC CPUを伴い、もう1つはIntel Xeon CPUを伴っています。
両方のケースにおいて、ホッパーGPUは単一のチップでありながら非常に高い評価を得ており、多くの場合、2、4、または8のA100チップを搭載したシステムを上回っています。
ホッパーGPUは、今年後半に商業的に利用可能になると予想されています。Nvidiaは、2023年初頭にインテルやAMDのCPUと競合する予定の新しい「グレース」CPUチップを提供する見込みであり、その部品はシステム内でホッパーの補完チップとなるでしょう。
Nvidiaと並んで、モバイルチップの巨人クアルコムは、機械学習タスクのために構築された新しいアクセラレーターであるCloud AI 100チップの新しい結果を発表しました。クアルコムは、デル、ヒューレット・パッカード・エンタープライズ、レノボを含む新しいシステムパートナーを追加し、同社のチップを使用した総提出数を増加させました。
チップメーカーとシステムメーカーの間のベイクオフが見出しを支配する傾向がある一方で、同じハードウェアからより多くのパフォーマンスを引き出す新しいアプローチを持つ賢い研究者がMLPerfに増えてきています。
過去の例には、機械学習の運用にDevOpsの厳格さをもたらそうとしているスタートアップOctoMLが含まれています。
今回は、4歳のベンチャー支援を受けたスタートアップNeural Magicによって興味深いアプローチが提案されました。同社の技術は、創業者であるMITの学者ニール・シャビットと、以前MITの研究科学者であり同社のCTOであるアレックス・マトヴェエフの研究に一部由来しています。
この研究は、ニューラルネットワークに必要な計算をスリム化する可能性のあるブレークスルーを示唆しています。
Neural Magicの技術は、ニューラルネットワークを訓練し、どの重みを未使用のままにできるかを見つけます。そして、それらの重みをゼロ値に設定し、コンピューターチップによって処理されないようにします。
そのアプローチは剪定と呼ばれ、木の不要な枝を取り除くことに似ています。しかし、それは数十年前から続く深層学習におけるより広範なトレンドである「スパース性」の一部でもあります。機械学習におけるスパースアプローチでは、いくつかのデータやプログラムの一部が実用的な目的のために不要な情報と見なされることがあります。
ニューラルマジックは、ニューラルネットワークのメモリと帯域幅の多くを占めるテンソル構造であるニューラルネットワークの重みを削減する方法を見つけ出します。多対多で接続された層の元のネットワークは、いくつかの接続が残るまで剪定され、他の接続はゼロにされます。この剪定アプローチは、スパース性として知られる機械学習のより大きな原則の一部です。
別の技術である量子化は、一部の数値をより単純な表現に変換します。例えば、32ビット浮動小数点数は、計算が容易な8ビットスカラー値に圧縮できます。
Neural Magic技術は、データサイエンティストが精度を犠牲にすることなく安全に廃棄できるニューラルネットワークの部分を自動的に見つけるために使用できる一種の変換ツールとして機能します。
Neural Magicのプロジェクトリーダーによると、その利点はプロセッサが処理しなければならない計算の数を減らすだけでなく、CPUがDRAMなどの外部メモリにアクセスする必要を減らすことにもあり、これがすべてを遅くする。
「パラメータの90％を削除すると、必要なFLOPsの90％も削除される」とNeural Magicのゴイン氏は述べ、FLOPsはプロセッサが計算を実行する速度を測る標準的な指標である。
さらに、ゴインは「CPUはメモリ帯域幅に制限されるのが非常に簡単です」と述べました。「大きなテンソルを移動させるには多くのメモリ帯域幅が必要で、CPUはそれが苦手です」とゴインは指摘しました。テンソルはニューラルネットワークの重みの値を整理する構造であり、メモリに保持する必要があります。
Neural Magicによれば、プルーニングを行うことでCPUはGPUに対して利点を持つことができます。左側では、GPUはそのすべての重みを持つ完全なニューラルネットワークを実行する必要があり、GPUの高度に並列化された回路を満たす必要があります。右側では、CPUはチップ上の豊富なL3キャッシュメモリを使用して、オフチップDRAMにアクセスすることなく、ローカルメモリからのテンソルを実行することができる、テンソルカラムとして知られています。
Neural Magicは、2.3ギガヘルツで動作する2つのIntel Xeon 8380チップを搭載したシステムを使用して、データセンターおよびエッジカテゴリで結果を提出しました。Neural Magicが選んだカテゴリは、データセンターとエッジの両方の「オープン」カテゴリであり、提出者はベンチマークの標準ルールに従わない独自のソフトウェアアプローチを使用することが許可されています。
その会社は、Googleが開発したBERT自然言語処理ニューラルネットワークのバージョンを実行するために、DeepSparseと呼ばれる新しいランタイムエンジンを使用しました。
BERTネットワークを剪定することにより、重みの大幅に削減されたサイズは、DRAMにオフチップするのではなく、CPUのローカルメモリに保持できる。
現代のCPUは、頻繁に使用される値を保存できる大容量のローカルメモリであるキャッシュを備えています。Xeonなどのほとんどのサーバーチップに搭載されているいわゆるレベル3キャッシュは、数十メガバイトのデータを保持できます。Neural Magic DeepSparseソフトウェアは、BERTプログラムのファイルサイズを1.3ギガバイトからわずか10メガバイトに削減します。
「今やウェイトはかなり小さくなったので、それらをキャッシュに収めることができ、より具体的には、これらのさまざまなキャッシュレベルに複数の操作を収めることができるため、DRAMに出て行くことに悩まされることなく、より効果的なメモリ帯域幅を得ることができます」とゴインはZDNetに語った。
DeepSparseプログラムは、多くの標準システムよりも1秒あたりに処理されるクエリの数が劇的に高いことを示しました。
ResNetデータセンターテストの「クローズド」バージョンの結果と比較すると、ソフトウェアの厳格なルールが遵守されている中で、Neural Magicの単一のIntel CPUは、ヒューレット・パッカード・エンタープライズやNvidia自身からの複数のNvidiaアクセラレーターを含む多数の提出を上回りました。
より代表的な比較では、2つのインテル・ゼオンを搭載したデル・パワーエッジサーバーは、1秒あたりわずか47.09件のクエリを処理したのに対し、ニューラルマジックのマシンの1台は1秒あたり928.6件のクエリを生成することができ、桁違いのスピードアップを実現しました。
Neural MagicのIntel Xeonベースのシステムは、同じ精度レベルのDellシステムよりも1桁速い結果を出しましたが、BERTニューラルネットワークの重みの60%がゼロになっています。
Neural MagicのDeepSparseで使用されているBERTのバージョンは、重みの60%が削除され、10層の人工ニューロンがゼロにされ、14層のみが残されましたが、Dellのコンピュータは標準の完全なバージョンで作業していました。それにもかかわらず、Neural Magicのマシンは、予測の標準的な99%の精度測定値の1%以内の予測を生成しました。
ニューラルマジックは、BERT自然言語処理プログラムをさまざまなスパース度に剪定する能力について説明しました。
ニューラルマジックは、その成果を説明する独自のブログ記事を公開しました。
ニューラルマジックの研究は、AIやチップコミュニティに広範な影響を与えます。もしニューラルネットワークがリソースをあまり消費しないように調整できれば、機械学習の増大し続ける電力予算を抑える方法を提供するかもしれません。
「ボックスを展開して推論を行う実際のコストを考えると、ランタイムエンジンに関しては多くの作業が必要ですが、機械学習コミュニティに関しては、MLエンジニアやデータサイエンティストがモデルを最適化するためのツールをさらに多く得る必要があります」とゴインはZDNetに語った。
「私たちは大きなロードマップを持っています」とゴインは言いました。「私たちは、より多くの人々に最適化を開放したいと考えています。」
「もし私たちがモデルの重さを95%に剪定できるなら、なぜ誰もこれを行っていないのですか？」とゴインは言った。
スパース性について、ゴインは「量子化のようになるだろう。誰もがそれを取り入れるようになる。私たちはその端にいるだけだ」と述べました。
チップ業界にとって、Neural MagicがX86チップの利点を示すことができたという事実は、推論とトレーニングの両方に対して、より多くの種類のチップアプローチが実行可能であることを意味します。今年初めにNeural Magicは、x86 CPUの最大の競合であるAdvanced Micro Devicesと提携し、この作業がIntelブランドのチップに限定されていないことを示しました。
インテルの科学者たちは、BERTのプルーニングモデルを作成する際に昨年ニューラルマジックに頼りました。イスラエルのインテルラボのオフィル・ザフリルと同僚による論文では、「漸進的マグニチュードプルーニング」と呼ばれるニューラルマジックのアプローチが、「学習率の巻き戻し」と呼ばれるインテルのアプローチと組み合わされました。著者たちは、この二つの組み合わせが精度の最小限の損失をもたらしたと報告しています。
ゴインは、ニューラルマジックが将来的にARMベースのシステムを追加することを期待しています。「このMacBook Proから直接MLPerfの提出ができるようになれば嬉しい」とゴインは言い、ARM命令セットを使用しているMacのMシリーズシリコンを指しました。
Neural Magicは現在約40人で、昨年3000万ドルのベンチャーキャピタルを調達し、2024年までの「ランウェイ」を持っているとGoinは述べています。同社はDeepSparseランタイムエンジンを使用するライセンスを販売することでコードを収益化しています。「私たちは、エッジでの自然言語処理やコンピュータビジョンなどに対する最大の関心を見ています」とGoinは言いました。
小売業は、使用例のための非常に大きな見込みのある分野であり、製造業やIoTアプリケーションも同様だとゴインは述べた。しかし、適用可能性は、豪華なアクセラレーターを持たない、そしてそのようなハードウェアを持つことが決してないかもしれない、世界中の数多くの質素なシステムに本当にある。ゴインは「数十年の歴史を持つ業界があり、そこには至る所にCPUがある」と観察した。「スターバックスの裏の部屋に入ると、クローゼットにサーバーのラックがある。」
MLPerfの他の注目すべき初の試みの中で、クラウド大手のアリババは、通常は単一のマシンの競技である中で、複数のマシンで構成されたシステムを提出した最初で唯一の企業でした。
アリババは、2から6ノードのバリエーションで構成された5つのシステムを提出し、インテルのXeonとNvidiaのGPUを混合して実行しています。アリババのソフトウェアプログラムであるSinian vODLAは、異なるコンピュータ間の異なるプロセッサに神経ネットワークのタスクを自動的に分割します。
最も注目すべき特徴は、シニアンソフトウェアがその場でニューラルネットのタスクをさまざまな種類のプロセッサ、特に複数のNvidia GPUに割り当てることを決定できる点です。これにより、各プロセッサの能力の違いが障害ではなく、潜在的な利点となります。
「これが未来の異種コンピューティングです」と、アリババの異種コンピューティング担当最高科学者であるウェイフェン・ジャンがZDNetとのインタビューで述べました。
アリババクラウドサーバーのベンチマーク結果は、驚くべき数字を示しました。BERT言語タスクでは、合計32のNvidia GPUを搭載した4ノードシステムが、1秒間に90,000件以上のクエリを処理できました。これは、データセンター機器のクローズド部門での最優秀提出物、24のGPUを使用したインスパーの単一機械よりも27%速いです。
4台の別々のコンピュータが1台として動作するアリババクラウドコンピュータは、32台のNvidia GPUを統合して、インスパーの24チップマシンであるトップシステムよりも27％速く結果を出すことができました。
「この作業の価値は、簡単で効率的、かつ経済的であると要約できます」と張はZDNetに語った。
最初のポイント、使いやすさについて、張氏は「計算[ハードウェア]の異質性を抽象化し、クライアントにとってより巨大なリソースプールのようにすることができる」と説明しました。
複数のコンピュータを一つのように動作させる方法は、非常に大規模なニューラルネットワークの台頭に伴い、再び重要性を示しているコンピュータサイエンスの分野です。しかし、多くのコンピュータに作業を分割するソフトウェアシステムを開発することは、ほとんどのAI産業ユーザーの手の届かない困難な作業です。
Nvidiaは、GPUを分割してマルチテナントチップにする方法を見つけたと張氏は述べ、これを「MIG」と呼び、複数インスタンスのGPUである。
それは始まりだと彼は言ったが、アリババはそれを超えることを望んでいる。「MIGはGPUを7つの小さなコンポーネントに分割しますが、私たちはこれを一般化し、物理的制約を超え、実際の需要に基づいてリソース配分を行いたい」と張は説明した。
「もしあなたがResNet-50を実行しているなら、おそらく計算に10TOPsしか使用していないでしょう」と彼は言いました。つまり、1秒あたり数兆の操作です。彼は「MIGの1つでも、おそらくユーザーが必要とする以上のものでしょう」と述べました。「私たちはSinianを使って、より細かい割り当てを行うことができます。だから、100人のユーザーが同時に[1つのGPU]を使用できるかもしれません。」
第二のポイント、効率について、張はほとんどのチップがその能力を十分に活用されていないことを指摘しました。メモリやディスクアクセス時間、帯域幅の制約などのさまざまな要因により、GPUは時には50%未満の利用率になることがあり、これは無駄です。時にはそれが10%にまで低下することもあると、張は指摘しました。
「8つのPCIeスロットを持つ1台のマシンを使用してメモリにチップを接続した場合、ネットワークがボトルネックであるため、リソースの50%未満しか使用していないことになります。」と張氏は述べました。「ネットワーキングの問題を最初に解決することで、この提出でははるかに高い利用率を達成できるのです。」
おそらく同じくらい重要なのは、機械がますます多くのチップにスケールアップするにつれて、1つのボックスの電力消費が厄介な問題になることです。張は「マザーボードに32のスロットを搭載できると仮定すると、同じ結果が得られるかもしれませんが、マザーボードに32のPCIeスロットがあると、電源は3倍になります」と説明しました。
それはグリーンコンピューティングを達成しようとする上で大きな問題です、と彼は言いました。
第三の問題である経済は、アリババの顧客がインスタンスを購入する方法に関係しています。「これは私たちにとって重要です。なぜなら、私たちは多くのデバイスを持っており、GPUだけでなく、すべてを活用したいからです」と張氏は述べました。「私たちの顧客は最新の[チップ]を使用したいと言いますが、それが彼らにとって本当に必要なものとは限りません。ですので、プール内のすべてがユーザーに利用可能であることを確認したいのです。A100[GPU]を含め、古い技術も含めて。」
「私たちが彼らの問題を解決し、より経済的な資源を提供する限り、これはおそらく私たちのクライアントのためにより多くのお金を節約することになるでしょう — それが私たちがこれに取り組む主な動機です。」
アリババの作業に関する詳細を掘り下げたい場合、良い出発点は、張が6月にコンピュータアーキテクチャに関する国際シンポジウムで講演するために使用したスライドのデッキです。
アリババの取り組みは特に興味深いもので、コンピュータネットワーキングの専門家たちが、ローカルエリアネットワークの背後に位置する第二のネットワーク、つまり深層学習の膨大な帯域幅の要求のための専用AIネットワークについて話しているからです。
その意味で、アリババのネットワーク提出とニューラルマジックのスパース性は、メモリアクセスと帯域幅という大きな問題に取り組んでおり、分野の多くの人々は、これらが計算部分自体よりも深層学習にとってはるかに大きな障害であると言っています。