OctoML の OctoAI を使用すると、生成 AI の提供がはるかに簡単になります
生成 AI は、その計算強度の高さから、運用環境に導入することが特に困難です。 OctoML は、長年にわたる最適化の専門知識を活用して、これらすべてを合理化できると述べています。
OctoAI コンピューティング サービスは、Stable Diffusion 2.1 などの使い慣れた生成 AI プログラムを使用するためのテンプレートを提供しますが、顧客は独自の完全なカスタム モデルをアップロードすることもできます。
人工知能プログラム、特に OpenAI の ChatGPT などの生成型プログラムの実行に対する熱烈な関心により、AI モデルを実稼働環境に導入する作業を合理化できるサービスの家内産業が生み出されています。
水曜日、さまざまなコンピューターチップやシステム全体でAIのパフォーマンスを向上させることに力を入れている新興企業OctoMLは、AIの「推論」部分である予測を提供する作業をスムーズにするサービス「OctoAI Compute Service」を発表した。大規模な言語モデルなどを実行したい開発者は、モデルをサービスにアップロードでき、残りは OctoAI が処理します。
これにより、従来の AI エンジニアだけでなく、より多くの関係者が AI サービスに参加する可能性があると同社は述べています。
「私たちの製品の読者は、アプリケーションに AI 機能を追加し、質問応答などのための大規模な言語モデルを追加したいと考えている一般的なアプリケーション開発者です。そのモデルを実際に本番環境に導入する必要はありませんが、これは依然として非常に困難です。」 OctoMLの共同創設者兼CEOのLuis Ceze氏はZDNETのインタビューでこう述べた。
Ceze 氏によると、生成 AI は他の形式の AI よりもサービスを提供するのがさらに困難です。
「これらのモデルは大規模で、大量のコンピューティングを使用し、多くのインフラストラクチャ作業が必要ですが、開発者が心配する必要はないと考えています」と同氏は述べた。
Ceze氏によると、OctoAIは、ChatGPT用のOpenAIなど「基本的に、通常は誰かが独自のモデルを使って構築するプラットフォーム」だという。 「私たちは同等のプラットフォームを構築しましたが、これによりオープンソース モデルを実行できるようになります。
「私たちは人々がインフラストラクチャの構築ではなく、アプリの構築に集中して、人々がより創造的になれるようにしたいと考えています。」
このサービスは現在一般アクセスが可能となっているが、一部の初期顧客は約1カ月で限定的にアクセスできるようになったが、「そしてその反響は皆の予想を大きく上回った」とセゼ氏は語った。
OctoAI の焦点は推論ですが、プログラムは「トレーニング」として知られるある程度の限定された量を実行できます。これは、最適化する目標に向けてパラメーターが与えられることによってニューラル ネットが開発される AI の最初の部分です。
「微調整はできるが、ゼロからトレーニングすることはできない」とセゼ氏は語った。微調整とは、たとえば、ドメインの特性に合わせてニューラル ネットワーク プログラムを調整するために、初期トレーニングの後、推論の前に行われる後続の作業を指します。
OctoML の共同創設者兼 CEO の Luis Ceze 氏は、「人々がインフラストラクチャを構築するのではなく、アプリの構築に集中して、人々がより創造的になれるようにしたいと考えています」と述べています。
推論が AI においてより頻繁に行われるタスクであることを考慮すると、この点に重点を置いているのは OctoML の「意図的な選択」であると Ceze 氏は述べています。
「私たちの仕事は推論に重点を置いています。なぜなら、成功したモデルでは、トレーニングよりもはるかに推論を行うことになるという強い信念があったからです。このプラットフォームは実際にモデルを実稼働環境に導入することを目的としています。そしてモデルの存続期間中、サイクルの大部分は推論に使用されます。」
OctoML のチームは、オープンソース プロジェクト Apache TVM の開発において中心的な役割を果たしているため、ニューラル ネットワークを運用環境に導入する際の複雑さに精通しています。 Apache TVM は、他のコンパイラとは異なる動作をするソフトウェア コンパイラです。プログラムを CPU または GPU の一般的なチップ命令に変換するのではなく、ニューラル ネットの計算操作の「グラフ」を研究し、操作間の依存関係に基づいて、それらの操作をハードウェアにマッピングする最適な方法を見つけ出します。
Apache TVM から生まれた Octomizer と呼ばれる OctoML テクノロジーは、「MLOps または DevOps フローのコンポーネントのようなものです」と Ceze 氏は述べています。
Ceze 氏は、同社は Apache TVM と Octomizer の構築から「学んだすべてを取り入れ」、「基本的にこれらの最適化サービスすべてを包含し、完全なサービス提供と微調整を行うまったく新しい製品 OctoAI を作成しました」と述べました。 、ユーザーが AI を本番環境に導入し、さらに実行できるようにするプラットフォームです。」
このサービスは「モデルを自動的に加速」し、ハードウェアを選択し、「非常にターンキーな方法で、モデルを実行する最適な方法に継続的に移行します」。
コマンドラインで CURL を使用すると、テンプレート化されたモデルを簡単に始めることができます。
Ceze 氏によると、顧客にとっての結果は、顧客が明示的に ML エンジニアである必要がなくなったということです。彼らはジェネラリストのソフトウェア開発者になることができます。
このサービスでは、顧客は独自のモデルを持ち込むことも、音声転写用の Stable Diffusion 2.1、Dolly 2、LLaMa、Whisper などの「厳選された高価値モデルのセット」を利用することもできます。
「新規ユーザーとしてログインすると、すぐにモデルで遊ぶことができ、モデルのクローンを作成して、非常に簡単に始めることができます。」同社は、顧客のニーズに合わせてそのようなオープンソース プログラムを微調整するのを支援することができ、「あるいは、完全にカスタム モデルを提供することもできます」。
これまでのところ、同社はオープンソース モデルと独自のカスタム モデルが「非常に均等に混在している」と見ています。
OctoAI のインフラストラクチャの最初の立ち上げパートナーは Amazon の AWS であり、OctoML はこれを再販していますが、同社はパブリック クラウドからすでに調達している容量の使用を希望する一部の顧客とも協力しています。
完全にカスタムのモデルをアップロードすることも別のオプションです。
たとえば微調整のために顧客データをクラウドにアップロードする方法という機密事項については、「当社は最初から SOC2 準拠を目指しているため、ユーザー データと他のユーザーのデータが混在することについては非常に厳密に保証されています。」 Ceze 氏は、米国公認会計士協会が開発した SOC2 自主遵守基準について言及しました。 「私たちはすべてを備えていますが、現在、プライベート展開についてさらに多くのことを求めている顧客がいます。そこでは、実際にシステムのインスタンスを切り出し、それを独自の VPC [仮想プライベート クラウド] で実行します。」
「これはすぐには開始されませんが、顧客がそれを求めているため、非常に短期的なロードマップに含まれています。」
OctoML は、ChatGPT 以来、AI プログラムで予測を提供することへの関心の高まりに多大な機会を感じている大小の関係者と対戦します。
MosaicML は、深い技術的専門知識を持つもう 1 つの若いスタートアップで、5 月に MosaicML Inference を導入し、大規模なモデルをデプロイしました。そしてGoogle Cloudは先月、「生成AIのような大規模な推論AIワークロード専用に構築された」G2を発表した。
Ceze 氏は、OctoAI を競合他社と差別化するにはいくつかの点があると述べました。 「当社が提供するユニークなものの 1 つは、「推論を単なるコンポーネントとして備えた製品」ではなく、微調整と推論に焦点を当てていることです。同氏によると、OctoAI は AI エンジニアである必要はなく、「開発者がアプリケーションを迅速に構築できるように特化されている」という点でも優れているという。
Ceze 氏は、「推論に焦点を当てたものを構築するのは本当に難しいです」と述べ、「非常に厳しい稼働時間要件」を含め、「非常に厳しい要件があります」と述べました。トレーニング セッションを実行するとき、「障害がある場合は回復できますが、推測すると、1 つのリクエストを見逃しただけでユーザーが動揺する可能性があります。」
「人々が MosaicML でモデルをトレーニングし、それを OctoML に持ち込んで提供するところを想像できます」と Ceze 氏は付け加えました。
OctoMLはまだ価格を公表していないという。このサービスは当初、見込み顧客がサインアップ ページから無料で利用できるようにするもので、無料のコンピューティング時間の初期割り当てが行われます。その後、料金は非常に透明性が高くなります。コンピューティングを使用してください。ここで私たちがどのくらいのパフォーマンスを提供しているかを示します。これにより、コンピューティング時間だけでなく、支払っているコンピューティングからより多くの仕事を得ることができることが非常に明確になります。」最終的には消費量に基づいて価格が決定され、顧客は使用した分だけ支払うことになる、と同氏は述べた。
多くの AI モデル提供が、現在の珍しいプレミアム サービスからコモディティに移行する可能性は明らかです。
「実際、AI 機能はコモディティ化される可能性が高いと思います」と Ceze 氏は言います。 「ユーザーにとっては、スペルチェックや文法チェックができるのと同じように、すべてのテキスト インターフェイスに生成 AI が搭載されることを想像してみてください。」
同時に、「大型モデルでも、汎用モデルではできないいくつかのことができるようになるだろう」と同氏は述べた。
規模が大きいということは、推論の複雑さがしばらくは解決が難しい問題になることを意味している、と同氏は述べた。 700億以上のパラメータを持つ大規模な言語モデルは、生成される単語ごとに100の「ギガオペレーション」、つまり1秒あたり1000億の演算を生成するとCeze氏は指摘する。
また: この新しいテクノロジーは GPT-4 やそれに類するものをすべて吹き飛ばす可能性があります
「これは、これまでに実行されたどのワークロードよりも桁違いに大きいです」と彼は付け加えました、「そして、プラットフォームを世界レベルに拡張するには多くの作業が必要です。
「したがって、たとえそれがコモディティ化されたとしても、多くの人にビジネスをもたらすことになると思います。なぜなら、クラウドにあるすべてのもの、GPU、CPU、その他エッジにあるものからパフォーマンスとコンピューティング能力を絞り出す必要があるからです。 」