私は ChatGPT を Bard、Claude、Copilot とファクトチェックしました - そしてこの AI が最も自信を持って間違っていました
間違いを犯すのは人間であり、どうやら AI も同様です。
生成型人工知能 (AI) は事実誤認を起こしやすいことで知られています。では、ChatGPT に 150 個の推定事実を生成するよう依頼し、それぞれを手動で確認するのに週末丸々を費やしたくない場合はどうすればよいでしょうか?
そうですね、私の場合は他の AI に目を向けました。この記事では、プロジェクトについて説明し、ファクトチェック対決で各 AI がどのようにパフォーマンスしたかを考察し、すべてが似ているこの曲がりくねった小さな通路の迷路を冒険したい場合に、最後の考えと注意事項をいくつか提供します。
プロジェクト
先週、私たちは非常に楽しいプロジェクトを公開しました。このプロジェクトでは、ChatGPT 内で実行される DALL-E 3 に、米国の各州を表すと思われる 50 枚の美しい画像を生成させました。また、ChatGPT に「州についてあなたが知っている最も興味深い 3 つの事実」をリストしてもらいました。その結果は、編集者が記事のタイトルに書いたように、「見事に奇妙な」ものでした。
ChatGPT はゴールデン ゲート ブリッジをカナダのどこかに設置しました。このツールにより、自由の女神は米国中西部とマンハッタン島のどこかに設置されました。そしてそれは 2 つのエンパイア ステート ビルディングを生み出しました。つまり、ChatGPT は抽象表現主義のファンクを取り入れましたが、その結果は非常にクールでした。
個々の事実については、ほぼ的を射たものでした。私は米国の地理と歴史にはかなり詳しいので、ChatGPT によって生成された事実のうち、大きく間違っていると目立つものはほとんどないと考えていました。しかし、私は独立した事実確認を一切行いませんでした。私は結果を読み返して、十分に良いと判断しました。
しかし、これら 150 個の事実の正確性を本当に知りたい場合はどうすればよいでしょうか?この種の質問は、AI にとって理想的なプロジェクトのように思えます。
方法論
それで、ここからが問題です。 ChatGPT Plus で使用される OpenAI ラージ言語モデル (LLM) である GPT-4 がファクト ステートメントを生成した場合、それがファクト ステートメントをチェックする必要があるとは完全には確信できませんでした。それは、高校生に何の参考文献も使わずに歴史の論文を書かせ、その後自分でその論文を修正するようなものです。彼らはすでに疑わしい情報から始めています - それからあなたは彼らに自分たちで修正させるつもりですか？いいえ、それは私には正しくありません。
しかし、これらの事実を他の AI 内の他の LLM に供給したらどうなるでしょうか? Google の Bard と Anthropic の Claude は両方とも独自の LLM を持っています。 Bing は GPT-4 を使用していますが、補完主義的な目的でその応答をテストしてみようと思いました。
ご覧のとおり、私は Bard から最高のフィードバックを得たので、宇宙の自然な秩序を総当りで倒錯させて、その応答を ChatGPT にフィードバックしました。素晴らしいプロジェクトでした。
人間的なクロード
Claude は Claude 2 LLM を使用しています。これは Notion の AI 実装内でも使用されています。クロードは、完全な事実セット (写真なし) を含む PDF を送信することを許可してくれました。戻ってきたものは次のとおりです。
全体として、クロードは事実リストがほぼ正確であると判断しましたが、3 つの項目についていくつかの説明がありました。 ChatGPT ファクトの長さを制限しましたが、その制限によりファクトの説明のニュアンスが妨げられました。クロードのファクトチェックでは、そのニュアンスの欠如の一部が問題となった。
全体的に見て、前向きな回答でした。
副操縦士…それとも無操縦士?
次に、Microsoft の Copilot、名前が変更された Bing Chat AI に行きます。 Copilot では PDF をアップロードできないため、50 の州の事実すべてからテキストを貼り付けてみました。 Copilot は 2,000 文字までのプロンプトしか受け付けないため、このアプローチはすぐに失敗しました。
私は副操縦士に次のように尋ねました。
次のテキストには、州名と、その後に各州の 3 つの事実が含まれています。事実を調査し、その州に関して間違っている点があれば特定してください
戻ってきたものは次のとおりです。
私が確認するよう依頼した事実データをほぼ繰り返していました。そこで、より強力なプロンプトでガイドを試みました。
もう一度、確認を依頼したデータを返してくれました。 Copilot は ChatGPT と同じ LLM を使用しているため、この出力は非常に奇妙であると感じました。明らかに、Microsoft は ChatGPT とは異なる調整を行っています。
諦めて吟遊詩人に移りました。
吟遊詩人
Google は新しい Gemini LLM を発表しました。私はまだ Gemini にアクセスできないので、Google の PaLM 2 モデルでこれらのテストを実行しました。
クロードと副操縦士と比較して、バードはそれを公園から叩き落としました、またはよりシェイクスピア風に言えば、それは「巨像のように狭い世界を乗り越えます」。
以下の結果を確認してください。
州の事実の多くは州間で合意さえされていない、あるいは微妙な違いがあることに注意することが重要です。次のセクションで説明するように、このリストを ChatGPT にフィードバックしたところ、アラスカ州とオハイオ州の回答に 2 つの矛盾が見つかりました。
しかし、ここには他にも見逃しがあります。ある意味、バードはその任務を過剰に補ってしまった。たとえば、バードはメイン州以外の州でもロブスターが生産されていると正しく述べました。しかし、メイン州はロブスターの生産に全力を尽くしています。私は、観光客に最も人気のある罠の装飾品の 1 つとして小型のロブスター罠がある他の州に行ったことはありません。
あるいは、ネバダ州とエリア 51 を選んでみましょう。ChatGPT は、「極秘の軍事基地、噂の UFO 目撃情報」と言いました。バード氏は訂正しようとして、「エリア51はUFOの目撃情報があるというだけの噂ではない。ここは本物の最高機密の軍事施設であり、その目的は不明だ」と述べた。彼らはほぼ同じことを言っています。吟遊詩人は、語数制限が厳しいことから生じるニュアンスを見逃していました。
Bard が文脈を理解せずに ChatGPT で選んだもう 1 つの場所はミネソタでした。はい、ウィスコンシン州にも湖がたくさんあります。しかしバード氏は、ミネソタ州に最も多くの湖があるとは主張しなかった。それはミネソタ州を「10,000の湖のある国」と表現しただけで、これはミネソタ州の最も一般的なスローガンの1つです。
バードもカンザスに夢中になった。 ChatGPTは、カンザス州は「米国本土の地理的中心地」であると述べた。バードはそれがサウスダコタだと主張した。アラスカとハワイを考慮に入れると、それは真実になります。しかし、ChatGPTは「連続している」と述べ、その栄誉はカンザス州レバノンに近い地点に与えられる。
このまま続けることもできますし、次のセクションでそうしますが、要点はわかります。 Bard のファクトチェックは優れているように見えますが、多くの場合、要点を逸脱し、他の AI と同様に物事を間違ってしまいます。
ChatGPT による Bard のファクト チェックの限定的なファクト チェックに進む前に、Bard のエントリのほとんどが間違っているか、頭が間違っていることを指摘しておきます。それにもかかわらず、Google は AI の回答をほとんどの検索結果の前面に表示します。それは気になりますか？確かに気になりますね。
ご主人様、ご婦人の皆様、そのような不思議なことは語られるべきではありません。
チャットGPT
冒頭から、バードが事実の 1 つを間違っていることがわかりました -- アラスカはテキサスよりもはるかに大きいです。そこで、ChatGPT が Bard のファクトチェックを実行できるかどうかを確認してみようと考えました。一瞬、この AI の尾追跡によって月が地球の軌道から外れてしまうのではないかと思いましたが、その後、何が起こったのか知りたいと思うでしょうから、宇宙の構造全体を危険にさらすことにしました。
ChatGPT に与えたものは次のとおりです。
そして、ChatGPT が言ったことは次のとおりです (明確にするために、月は軌道上に留まりました)。
ご覧のとおり、ChatGPT は、テキサスが最大の州であるというバードの誤った主張に異議を唱えました。また、ほとんどの学校で教えるよりも物議を醸す航空の誕生として、オハイオ州対カンザス州の試合には少々ハラハラする場面もあった。
ウィルバーとオービル・ライトが最初の航空機を操縦したのは（実際にはノースカロライナ州キティホークで）、というのが一般的に受け入れられていますが、ライト・フライヤーはオハイオ州デイトンで製造されました。とはいえ、サー・ジョージ・ケイリー（1804年）、アンリ・ジファール（1852年）、フェリックス・デュ・タンプル（1874年）、クレマン・アデル（1890年）、オットー・リリエンタール（1891年）、サミュエル・ラングレー（1896年）、ギュスターヴ・ホワイトヘッド（1901年）、リチャード・ピアースはそうである。 (1902 年) -- ニュージーランド、英国、フランス、ドイツ、および米国の他の地域からの飛行士は皆、最初の飛行者であるというある程度正当な主張を持っています。
しかし、ChatGPT には主張するのに 10 語しかなく、オハイオ州はライト兄弟が自転車店を構えた場所であるため、その点を ChatGPT に譲ります。
結論と注意点
事前に注意しておきましょう。事実が正しい必要がある論文や文書を提出する場合は、自分で事実確認を行ってください。そうしないと、テキサス規模の野望がアラスカ規模の問題に埋もれてしまう可能性があります。
私たちのテストで確認したように、結果 (Bard の場合と同様) は非常に印象的ですが、完全にまたは部分的に間違っている可能性があります。全体として、さまざまな AI に相互チェックを依頼するのは興味深いものであり、これはおそらくさらに調査するプロセスですが、結果は決定的なものでしかありませんでした。
副操縦士は完全に諦めて、ただ昼寝に戻るように言いました。クロードは、いくつかの回答のニュアンスに疑問を呈しました。 Bard 氏は、数多くの答えに対して厳しく答えました。しかし、どうやら、間違いを犯すのは人間だけではなく、AI でもあるようです。
結論として、私は本物の吟遊詩人の言葉を引用して、「混乱が彼の傑作を生み出した！」と言わなければなりません。
どう思いますか？お気に入りの AI でどのようなひどいエラーを見たことがありますか? AI の事実を信頼することに満足していますか、それとも独自の事実確認プロセスを実行しますか?以下のコメント欄でお知らせください。
ソーシャルメディアで私の日々のプロジェクトの最新情報をフォローしてください。 Substack で毎週更新されるニュースレターを購読し、Twitter (@DavidGewirtz)、Facebook (Facebook.com/DavidGewirtz)、Instagram (Instagram.com/DavidGewirtz)、YouTube (YouTube.com/DavidGewirtzTV) をフォローしてください。