OpenAI の新しい o1 モデルを破ろうとしていますか?出禁になるかもよ

新しい AI モデルに幻覚を起こさせるのは楽しい挑戦ですが、その行為には結果が伴います。

最も賢い AI モデルでも幻覚を起こす傾向があり、刺激されると面白い場合があります。グルーピザを思い出してもいいですか？ただし、OpenAI の高度な o1 推論モデルで幻覚を誘発しようとすると、モデルに完全にアクセスできなくなる可能性があります。

OpenAIは先週、「話す前に考える」ように訓練されたo1モデルを発表し、その結果、高度な推論を使用して複雑な数学、科学、コーディングの問題を解決できるようになった。このような優れた機能を宣伝するモデルでは、当然のことながら、人々はその一連の推論を打ち破ろうとします。

しかし、Wired が最初に発見したように、そうしようとしたユーザーはチャットボット インターフェイス内で警告を受け、その行為が OpenAI の利用規約と使用ポリシーに違反していることを通知されました。ユーザーのアクションには、「推論トレース」や「推論」などの用語への言及が含まれていました。

Lol pic.twitter.com/qbnIMXkCcm

— Dyusha Gritsevskiy (@dyushag) September 12, 2024

OpenAI の利用規約 (最終更新日: 2024 年 1 月 31 日) に従い、同社は、ユーザーが規約または使用ポリシーに違反し、リスクを引き起こす可能性があると判断した場合、「サービスへのアクセスを一時停止または終了するか、アカウントを削除する」権利を留保します。 OpenAI および他のユーザーに危害を与えるもの、または法律を遵守しないもの。

これらのポリシーに対する反応はまちまちで、これらの制限が適切なレッドチーム化の妨げになっていると不満を言う人もいれば、新しいモデルの抜け穴を防ぐために積極的な予防策が講じられていることを喜ぶ人もいます。

o1 モデルを自分で試してみたい場合は、無料の ChatGPT アカウントを作成し、サインインして、モデル ピッカーから「アルファ モード」を切り替え、o1-mini を選択します。 o1-preview を試してみたい場合は、月額 20 ドルで ChatGPT Plus アカウントに登録する必要があります。