Kubernetes は簡単になりましたか? MicrosoftがAIツールチェーンオペレーターをAzureサービスに追加

Kubernetes Al ツールチェーン オペレーターは、機械学習と人工知能のワークロードの実行を簡素化し、起動にかかる費用を節約します。

人工知能 (AI) や大規模言語モデル (LLM) などの機械学習アプリケーションを大規模に実行したい場合は、それらを Kubernetes 上で実行する必要があります。ただし、誰もが好むコンテナ オーケストレーターである Kubernetes をマスターするのは簡単ではありません。そこで登場するのが、Microsoft の Azure Kubernetes Service (AKS) への最新の追加である Kubernetes Al ツールチェーン オペレーターです。

AKS により、Azure 上の Kubernetes がすでに簡単になっています。手作業で作業する代わりに、AKS に組み込まれたコードからクラウドへのパイプラインとガードレールを使用すると、Azure でクラウド ネイティブ アプリの開発とデプロイをより迅速に開始できる方法が得られます。 AKS は、オンプレミス、エッジ、マルチクラウドの Kubernetes クラスターの統合管理とガバナンスを備えているため、Azure のセキュリティ、ID、コスト管理との統合も簡素化されます (Kubernetes に関しては「シンプル」ということはありません)。 、および移行サービス。

Kubernetes AI ツールチェーン オペレーターがもたらしたのは、オープンソース ソフトウェア AI/ML ワークロードをコスト効率よく、手動構成を減らして実行するための自動化された方法です。また、LLM またはその他のプロジェクトに最適なサイズのインフラストラクチャを選択することで、利用可能な CPU および GPU リソース全体にわたる AKS への LLM モデルのデプロイも自動化します。

AI ツールチェーン オペレーターは、必要な GPU ノードを自動的にプロビジョニングし、関連する推論サーバーを AI モデルのエンドポイント サーバーとして設定することでこれを行います。 Hugging Face の 7B や NVIDIA Triton Inference Server などの推論サーバーは、トレーニングされた AI モデルを受信データに適用して、リアルタイムの意思決定を行います。推論は、トレーニングされた AI モデルを通じてライブ データを実行して、予測を行ったりタスクを解決したりするプロセスです。このアドオンを使用すると、オンボーディング時間が短縮され、インフラストラクチャのセットアップではなく AI モデルの使用と開発に集中できるようになります。

また、GPU 数の少ない複数の仮想マシン (VM) に推論を簡単に分割することも可能になります。つまり、より多くの Azure リージョンで LLM を実行できるため、GPU 数の多い VM を備えた Azure リージョンの待ち時間がなくなり、全体的なコストが削減されます。つまり、低電力で安価なリージョンで LLM を自動的に実行できます。はい、処理能力が失われる可能性がありますが、すべてのジョブでより高い処理能力が必要なわけではありません。

AKS でホストされるイメージを含むプリセット モデルから選択することもできるため、セットアップが簡単になります。これにより、サービス全体のセットアップ時間が大幅に短縮されます。稼働してしばらく経ったら、ワークロードに合わせて Azure モデルを調整できます。

さらに、Azure Kubernetes Fleet Manager により、AKS クラスターのマルチクラスターおよび大規模なシナリオが可能になります。多くのクラスターを含む Kubernetes フリートを管理しているプラットフォーム管理者は、安全かつ予測可能な方法で更新をステージングするという課題に直面することがよくあります。これにより、管理者は、更新の実行、ステージ、グループを使用して、複数のクラスター全体で更新を調整できるようになります。 AI/ML ワークロードは非常に要求が厳しい傾向にあるため、これにより管理がはるかに簡単になります。

つまり、Azure で AI/ML を使った本格的な作業を行いたい場合は、Kubernetes Al ツールチェーン オペレーターに注意を払う必要があります。