OpenAIとAnthropic、AIの安全性に関して米国政府と協力

生成 AI の人気が高まる中、政策と安全対策もそれに追いつくよう努めています。

生成人工知能（gen AI）について安全性に関する懸念がある理由は数多くあります。たとえば、トレーニング データの収集と使用方法、有害なコンテンツに対するユーザーの一貫性のない保護、幻覚の可能性、誤った情報の拡散などです。米国政府と大手 AI 企業との新たなパートナーシップは、これらの問題への取り組みを目指しています。

木曜日、米国商務省国立標準技術研究所（NIST）の米国人工知能安全性研究所は、研究、テスト、評価において正式に協力するためのAnthropicおよびOpenAIとの合意を発表した。

米国AI安全性研究所所長のエリザベス・ケリー氏はリリースの中で、「これらの協定が締結されたことで、AI安全性の科学を前進させるためにAnthropicおよびOpenAIとの技術協力を開始することを楽しみにしている」と述べた。 「これらの合意は始まりにすぎませんが、AI の将来を責任を持って管理するために私たちが取り組む上で重要なマイルストーンです。」

両社は、リスクを評価し軽減できるよう、米国AI安全協会に対し、公開前後に主要な新モデルへのアクセスを提供することに合意した。

リリースによると、米国AI安全研究所は英国AI安全研究所のパートナーとも協力し、安全性向上の可能性について企業にフィードバックを提供する予定だという。米国と英国はこれまでにも AI の安全性に関して協力しており、5 月には AI モデルの安全性テストを開発するために提携しました。

Anthropic と OpenAI はどちらも AI 競争の主要なリーダーであり、最も人気のある大規模言語モデル (LLM) とチャットボットの作成を担当しています。 ChatGPT の背後にある LLM である OpenAI の GPT-4o は現在チャットボット アリーナで 1 位にあり、Anthropic の Claude 3.5 Sonnet は総合カテゴリで 6 位にランクされています。

OpenAI は、モデルに関する透明性を高める努力をしており、最近では、OpenAI や外部のレッドチームなどからのリスク評価に基づいて LLM の安全性を概説する徹底したレポートである GPT-4o システム カードをリリースしました。