Anthropic の最新 AI モデルは、間違いもすべて、あなたと同じようにコンピューターを使用できます
Claude 3.5 Sonnet は、開発者向けにベータ版として提供されており、現在試用できます。画面を表示したり、カーソルを移動したり、ボタンをクリックしたり、テキストを入力したりすることもできます。完璧ではありませんが、あなたも完璧ではありません。
コンピューターと単独で連携できる AI モデルを想像してみてください。まあ、そのようなAIが登場したので、もう想像する必要はありません。火曜日、Anthropic は、最新世代の Claude AI モデルが、あなたや私と同じようにコンピューターを使用できると発表しました。 Claude 3.5 Sonnet と呼ばれるこの AI は、開発者が API 経由で使用できるようにベータ モードで登場しました。
Anthropic が「パブリック ベータ版でコンピューターでの使用を提供する最初のフロンティア AI モデル」として宣伝している Claude 3.5 Sonnet は、開発者がさまざまな方法でコンピューターと連携するようにコーディングできます。 API 経由でプログラムされた製品またはサービスを使用すると、AI にコンピューター画面を「見て」、画面上でカーソルを動かし、ボタンをクリックし、仮想キーボードでテキストを入力するように指示できます。アイデアは、自分のコンピュータと対話する方法をエミュレートすることです。
今のところ、新しい AI は明らかに実験段階にあり、時には扱いにくく、エラーが発生しやすいものです。ただし、Anthropic は、時間の経過とともにモデルを改善できるように、特に開発者からフィードバックを得るために新しいベータ版をリリースしました。
AIによるコンピュータ利用はなぜ役立つのでしょうか？ Anthropic はその疑問を予測し、それに取り組みました。
「現代の仕事の膨大な量はコンピューターを介して行われています」とアンスロピック氏は言う。 「AI が人間と同じようにコンピューター ソフトウェアと直接対話できるようになれば、現世代の AI アシスタントでは不可能な幅広いアプリケーションが可能になります。」
そして、開発者とユーザーは、コンピューターと連携して動作する AI をどのように活用できるのでしょうか?
「クロードが個々のタスクを完了できるようにするための特定のツールを作成するのではなく、一般的なコンピューター スキルを教えて、人間向けに設計された幅広い標準ツールやソフトウェア プログラムを使用できるようにしています」とアントロピック氏は説明しました。 「開発者は、この初期の機能を使用して、反復的なプロセスを自動化し、ソフトウェアを構築およびテストし、研究などの無制限のタスクを実行できます。」
アンスロピック氏によると、Asana、Canva、Cognition、DoorDash、Replit、The Browser Companyなど、いくつかの企業がすでにClaude 3.5 Sonnetのコンピュータ能力を活用しているという。一例として、ソフトウェア開発および展開プラットフォーム Replit は、これらの機能を使用して、Replit Agent 製品のアプリケーションを評価しています。
Anthropic 氏によると、クロードがコンピューターの操作方法、具体的には画面を見てそれに応じて特定のアクションを実行する方法を学ぶためのプログラミングには、多くの試行錯誤が含まれていました。
コンピュータを使用するには、コンピュータ画面などの画像を見て解釈する能力が必要です。また、画面に表示されている内容に基づいて、特定の操作をいつどのように実行するかを決定する能力も含まれます。これらの要件に対処するために、Claude 3.5 Sonnet は、ユーザーが表示している内容を示すスクリーンショットを調べます。次に、AI が縦横のピクセル数をカウントして、カーソルを移動する場所を判断します。このスキルは、AI がマウス コマンドを発行する能力に不可欠です。
クロードはこれまでどうやって過ごしてきましたか？
AI モデルによるコンピューターの使用の試みを評価する OSWorld ベンチマーク テストでは、Claude 3.5 Sonnet のグレードは 14.9% でした。これは人間レベルのスキルの70%～75%よりははるかに低いものの、同じカテゴリで次に優れたAIモデルが獲得する7.7%のほぼ2倍であるとアンスロピック氏は述べた。
AIによるコンピュータ利用のこの試みはまだ初期段階にある。そのため、クロードは、ウィンドウのドラッグや画面のズームなど、より「高度な」コンピューター タスクを実行できません。また、クロードはスクリーンショットを表示したりまとめたりすることでコンピューターを操作するため、特定のアクションや通知を見逃す可能性があります。
アンスロピック氏は、「コンピュータの利用は急速に改善され、より高速で、より信頼性が高く、ユーザーが完了したいタスクにとってより便利になると予想している」と述べた。 「また、ソフトウェア開発の経験が浅い人にとっても実装がはるかに簡単になります。当社の研究者は、あらゆる段階で安全チームと緊密に連携して、クロードの新機能に適切な安全対策が確実に施されるようにしていきます。」
クロード 3.5 ソネットは誰でも利用できるようになりました。開発者は、Anthropic API、Amazon Bedrock、Google Cloud の Vertex AI 上のコンピューター用ベータ版を使用してアプリケーションを構築できます。