OpenAI、核戦争を含む「壊滅的な」AI リスクと戦うための専門家チームを編成

Preparedness と呼ばれるこのチームは、現在および将来の AI モデルが大きく狂わないようにしたいと考えています。

AI が私たちのテクノロジーとの関わり方に革命をもたらし続けているため、AI が私たちの将来に信じられないほどの影響を与えることは否定できません。 AI がチェックされていない場合、かなり深刻なリスクを抱えていることも否定できません。

OpenAI によって集められた専門家の新しいチームに加わりましょう。

OpenAI の専門家チーム (Preparedness と呼ばれる) は、いわゆる「壊滅的」リスクとの闘いを支援するために、現在および将来予測される AI モデルをいくつかのリスク要因について評価する予定です。これらには、個別の説得（または受信者が聞きたいこととメッセージの内容を一致させる）、全体的なサイバーセキュリティ、自律的な複製と適応（または、AI が自ら変化する）、さらには化学的、生物学的などの絶滅レベルの脅威が含まれます。 、放射線攻撃、核攻撃。

AI が核戦争を始めるというのは少々突飛な話だと思うなら、Google DeepMind の CEO、デミス・ハサビスを含むトップ AI 研究者、エンジニア、CEO のグループが今年初めに「AI による絶滅のリスクを軽減する」と不気味に警告したことを思い出してください。パンデミックや核戦争などの他の社会規模のリスクと並んで世界的な優先事項であるべきだ。」

AI はどのようにして核戦争を引き起こす可能性があるのでしょうか?最近では、軍事攻撃がいつ、どこで、どのように行われるかを決定するためにコンピューターが常に存在しており、AI が関与することはほぼ間違いありません。しかし、AI は幻覚を見る傾向があり、必ずしも人間と同じ哲学を持っているわけではありません。つまり、AIは核攻撃の時期ではないにもかかわらず、核攻撃の時期であると判断する可能性がある。

OpenAIの声明には「最先端の既存モデルの能力を超えるフロンティアAIモデルは、全人類に利益をもたらす可能性があると我々は信じている。しかし、それらはますます深刻なリスクももたらす」としている。

OpenAI によれば、AI を抑制するために、チームは次の 3 つの主要な質問に焦点を当てる予定です。

• 現在のフロンティア AI システムと将来登場する AI システムは、意図的に悪用された場合、どれほど危険なのでしょうか?
• フロンティア AI モデルの重みが盗まれた場合、悪意のある攻撃者は具体的に何ができるでしょうか?
• フロンティア AI システムの危険な機能を監視、評価、予測し、保護するフレームワークはどのように構築できるのでしょうか?

このチームを率いるのは、MIT デプロイ可能な機械学習センターの所長であり、MIT AI ポリシー フォーラムの教員共同リーダーであるアレクサンダー マドリー氏です。

研究を拡大するために、OpenAI は、壊滅的な悪用を防ぐための「AI Preparedness Challenge」と呼ばれるものも立ち上げました。同社は、OpenAI の潜在的だが壊滅的な悪用を公開する上位 10 件の投稿に対して、最大 25,000 ドルの API クレジットを提供します。