10% 近くの人が AI チャットボットに露骨なコンテンツを要求しています。それは LLM を誤らせることになるでしょうか?
プログラミングのヒントやヘルプの作成以外にも、100 万もの会話には、他の種類の「安全な」情報に対する人々の欲求が反映されています。これについて研究者が取り組んでいることは次のとおりです。
ChatGPT が一夜にしてセンセーションを巻き起こしたことにより、生成 AI の使用が本格的な研究の対象となるだけでなく、生成 AI 自体のトレーニングの要点にもなるのは時間の問題でした。
今月発表された研究論文の中で、学者らは人々が25の異なる大規模な言語モデルを使って交わした100万件の「現実世界の会話」のデータベースを収集した。 arXiv プレプリント サーバーで公開されたこの論文は、カリフォルニア大学バークレー校の Lianmin Zheng と、カリフォルニア大学サンディエゴ校、カーネギー メロン大学、スタンフォード大学、およびアブダビのモハメド ビン ザイード人工知能大学の同僚によって執筆されました。
著者らが無作為に選んだこれらの会話のサンプル 100,000 件によると、そのほとんどが予想される主題に関するものであったことがわかりました。インタラクションの上位 50% は、プログラミング、旅行のヒント、執筆のサポートのリクエストなど、歩行者専用のトピックに関するものでした。
しかし、その上位 50% 未満では、会話中のロールプレイング キャラクターや、著者が「危険」と呼ぶ 3 つのトピック カテゴリなど、他のトピックが出現します。 「露骨な性的空想とロールプレイングのシナリオ」;そして「異なるアイデンティティ間での有害な行動について話し合う」。
今年の 4 月から 8 月にかけてバークレーとスタンフォード大学のチームがオンライン ユーザーから収集した 100 万件の会話の統計。トピック 9、15、および 17 は、自動タグ付け技術に基づいて「安全ではない」とみなされるトピックの 1 つです。
著者らは、100万件の会話全体の中に「さらに有害なコンテンツ」が存在する可能性があると推測している。彼らは、会話に「安全でない」というタグを付けるために部分的に OpenAI テクノロジーを使用しましたが、OpenAI 独自のシステムが場合によっては仕事中にダウンすることがある、と彼らは詳細に議論しています。
また、Vicuña などのオープンソース言語モデルには、ChatGPT などの商用プログラムと同じガードレールがないため、安全でないコンテンツが多く含まれているとも指摘しています。
「安全対策のないオープンソースモデルは、プロプライエタリモデルよりも頻繁にフラグ付きコンテンツを生成する傾向がある」と彼らは書いている。 「それにもかかわらず、GPT-4 や Claude などの独自モデルでの『脱獄』の成功が依然として観察されています。」そして実際、彼らは GPT-4 がチャレンジの 3 分の 1 の確率で壊れることに注目しています。これは、ガードレールが設置されているものとしては高い確率であると思われます。
さまざまな大規模言語モデルにおける「安全でない」コンテンツの蔓延の比較。
「安全でない」、攻撃的、または暴力的なコンテンツの生成をプログラムに促すプロンプトなど、有害な音声によって言語モデルがどの程度壊れているかに関する統計。
いわゆる安全でない会話の例は、論文の付録にリストされています。もちろん、「安全でない」という用語は非常に広い意味を持ちます。示されている例の中には、書店で販売されている大衆向けのエロティックな小説に似ているものもあるため、この非難は話半分に受けとめなければなりません。
Zheng 氏とチームは、HuggingFace でデータセット全体をリリースしました。
今年の4月から8月までの5か月にわたって収集された、「LMSYS-Chat-1M」と呼ばれるこのデータセットは、「初の大規模な現実世界のLLM会話データセット」であると彼らは書いている。
LMSYS-Chat-1M は、AI スタートアップ Anthropic によって編集された、これまで知られていた最大のデータセットを上回っています。このデータセットには 339,000 件の会話が含まれていました。 Anthropic の調査対象ユーザーは 143 名のみでしたが、Zheng 氏とチームは、OpenAI の GPT-4 を含む 25 の異なる大規模言語モデルや、Claude や Vicuña などのオープンソース言語モデルを使用して、154 の言語にわたる 210,000 人以上のユーザーからチャットを収集しました。 。
このデータセットの収集にはいくつかの目的があります。まず、言語モデルを微調整してパフォーマンスを向上させます。また、悪意のある情報のリクエストなど、言語モデルを誤らせる可能性のあるユーザー プロンプトを研究することにより、生成 AI の安全性に関するベンチマークを開発します。
著者らも指摘しているように、誰もがこのデータを収集できるわけではありません。大規模な言語モデルを実行するには費用がかかり、OpenAI などの余裕のある当事者は通常、商業上の理由からデータを秘密にします。
バークレーとスタンフォード大学のチームは、人々が 25 の言語モデルすべてにアクセスできるようにする無料のオンライン サービスを運営しているため、データを収集することができました。また、チャットをゲーミフィケーションすることで参加を促します。ユーザーは、2 つの異なる言語モデルで同時にチャットできる「チャットボット アリーナ」への参加を選択できます。このサービスは、HuggingFace 上でボットのパフォーマンスのリーダーボードを管理しているため、これらの言語モデルがどのように機能するかを確認することは、一種の競争スポーツになります。 (チャットボットアリーナのコードも掲載しています。)
Zheng 氏とチームは以前、別の論文でチャットボット アリーナについて書いていました。 Zheng は、ChatGPT の競合となるオープンソースの Vicuña を作成したチーム メンバーの 1 人です。 (ビクーニャはラマの親戚です。オープンソースの大規模言語モデルでは、アルパカ、ラマ、ビクーニャなど、「ラマ」属の形式の名前を使用する習慣が採用されています。)
著者らは、この種のデータに関していくつかの目標を念頭に置いています。 1 つの目的は、安全でないコンテンツを処理するモデレーション ツールを作成することです。彼らは独自の Vicuña 言語モデルから始めて、OpenAI API からの警告を表示し、コンテンツにフラグが付けられた理由のテキスト説明を生成させることでトレーニングします。
「分類子を開発する代わりに、言語モデルを微調整して、特定のメッセージにフラグが付けられた理由の説明を生成します」と彼らは説明しています。次に、OpenAI のシステムがフラグを立てられなかった 110 件の会話のチャレンジ データ セットを作成しました。最後に、彼らはそのベンチマークを使用して、微調整された Vicuña が OpenAI の GPT-4 などとどのように比較できるかを確認しました。
さまざまな言語モデルによる「安全でない」コンテンツを検出するためのスコア。著者らは研究の一環として「Vicuna-moderator-7B」プログラムを開発した。
「Vicuna-7B から微調整された Vicuna-moderator-7B に移行すると、大幅な改善 (30%) が観察され、微調整の有効性が強調されました」と彼らは書いています。 「さらに、Vicuna-moderator-7B は GPT-3.5-turbo のパフォーマンスを上回り、GPT-4 のパフォーマンスに匹敵します。」
興味深いのは、同社のモデレーター プログラムが、いわゆる「ワンショット」で GPT-4 を超えるスコアを獲得していることです。これは、プログラムがプロンプトに有害なテキストの例を複数ではなく 1 つだけ与えたことを意味します。
Zheng 氏とチームがデータセットを活用している用途は他にもあり、その中には、マルチパートの指導プロンプトを処理する言語モデルの機能を改良したり、最も強力な言語モデルを打ち負かすための課題の新しいデータセットを生成したりすることが含まれます。後者の取り組みは、人間が最適なプロンプトを作成しようとしているのを見ることができるため、チャットボット アリーナ プロンプトを使用することで役立ちます。 「こうした人間の判断は、ベンチマークプロンプトの品質を調べるための有用なシグナルを提供する」と彼らは指摘する。
四半期ごとに新しいデータを公開するという目標もあり、著者らはそのためにスポンサーを求めている。 「このような取り組みには、潜在的なデータプライバシーの問題に慎重に対処しながら、かなりのコンピューティングリソース、メンテナンスの労力、ユーザートラフィックが必要です」と彼らは書いている。
「私たちの取り組みは、プロプライエタリな企業で見られる重要なデータ収集プロセスをオープンソース方式でエミュレートすることを目的としています。」