ChatGPT と私は 20 の質問のゲームをプレイしました、そして、これが起こりました

GPT-3.5 と GPT-4 がオブジェクトの関係をどのように処理できるかをテストしました。簡単に言うと、驚くほどうまくいきました。

先日、(私もそうであるように) Stack Exchange を散策していたところ、ChatGPT とゲーム「20 質問」に関する興味深いスレッドを見つけました。元の投稿者は、なぜ ChatGPT がこのような単純なゲームで失敗するのかを尋ねました。議論はかなり長い間続き、（議論がそうであるように）さまざまな接線方向に進み、プロセスを深く研究した学術論文やMediumの投稿にリンクしました。

これは私に考えさせました。 ChatGPT はそのようなゲームでどれだけうまく機能するでしょうかでしょうか? GPT-3.5 と GPT-4 の両方でまったく同じゲームをプレイすることにしました。最初の実行では、どちらも似たような結果になりましたが、GPT-4 は推測に成功しました。

各バージョンの簡単なプロンプトから始めました。

「20の質問」というゲームの遊び方を知っていますか？

両方のバージョンが肯定的に答えた場合、別のタブと別のセッションで同時にゲームを開始しました。私が念頭に置いていたオブジェクトは郵便ポストでした。家に付いている郵便ポストなのか、路上に自立している郵便ポストなのか、ちょっと曖昧なままにしておきました。 AI が「メールボックス」を選択する限りは問題ありません。

GTP-3.5 に関する 20 の質問

私は次の開始プロンプトから始めました。

あなたが質問者です。何か考え中です。

それは次の質問で答えました。「始めましょう! あなたが考えているものは、物理的に対話できる有形のオブジェクトですか?」

私は答え、さらにもう 1 つ追加の指示を与えました。それは、答えに番号を付けるというものでした。これはうまくいきませんでした。質問を進めていくと、AI は 2 番目の質問を「1」と呼びました。私がそれを修正すると、ボットは新しい質問をし、それを「1」と呼びました。最終的には、20 個しか質問していないと思って、21 個の質問をしました。

最も興味深い詳細はこの質問で、これは 2 番目の質問でした。「あなたが考えているものは屋内でよく見られるものですか?」

私が「いいえ」と答えると、チャットボットはさらに質問を続けました。どうぞ。いくつかはペンや鉛筆などの屋内アイテムに関連するものですが、屋外でも筆記用具を使用します。ここでの質問の全文は次のとおりです。

あなたが考えているものは、物理的に対話できる有形のオブジェクトですか?
あなたが考えているものは屋内でよく見られるものですか？
あなたが考えていることは、生きているものですか、それともかつて生きていたものですか?
あなたが考えているものは主にレクリエーション目的で使用されますか?
あなたが考えているものは人工的に作られたものですか？
あなたが考えているのはパン箱よりも小さいものですか？
あなたが考えていることはコミュニケーションに関係していますか？
あなたが考えているものは、通常オフィスや作業場にありますか?
あなたが考えているのは電子機器の一種ですか?
あなたが考えているのはペンや鉛筆などの筆記用具でしょうか？
あなたが考えているのは、ゲームやおもちゃなどのエンターテイメントに関するものですか?
あなたが考えていることは交通機関や旅行に関連したものですか?
あなたが考えているのは実用的な目的で使用されるツールですか？
あなたが考えていることは、一般的に建設業や肉体労働に関連したものですか?
あなたが考えていることは、人々が日常生活でよく使うものですか？
あなたが考えているのは家庭用品ですか？
あなたが考えていることは、身だしなみや衛生に関するものですか?
あなたが考えているのは食べ物や飲み物のことでしょうか?
あなたが考えているのは、芸術や創作活動で使用されるツールですか？
あなたが考えていることはスポーツや身体活動に関連したものですか?
提供された情報に基づいて、最終的な推測をしてみます。あなたが考えているものは時計ですか、それとも時計ですか?

GPT-3.5 の大規模言語モデルを使用すると、失敗しました。さて、GPT-4を見てみましょう。

GPT-4 による 20 の質問

私も同じようにゲームを始めました。今回は、ChatGPT は、私がそうするように促すことなく、各質問の先頭に番号を付けました。問題？「1」を入れました。すべての質問の前に。勝つこともあれば、負けることもあります。

GPT-4 が尋ねた質問は次のとおりです。

あなたが考えているものは通常屋内にありますか?
それは生き物ですか？
ブレッドボックスより大きいでしょうか？
このオブジェクトは主にレクリエーション目的で使用されますか?
その物体は人工的に作られたものですか？
乗り物の種類ですか、それとも交通手段ですか?
物体は電子的なものですか、それとも機能するには電力が必要ですか?
主に金属でできていますか？
この物体は通常、ほとんどの家庭にありますか?
キッチンや料理に使われていますか？
物品の保管や整理に使用されますか?
着用できますか、それとも衣料品ですか?
主に清掃やメンテナンスに使用されますか?
それは本質的に装飾的なものですか？展示するものは好きですか？
オフィスや書斎でよく見かけるものでしょうか？
それは寝室で見つかるものですか？
それは何か特定の野外活動や趣味に関連していますか?
一般的には木製でしょうか？
通常、バスルームで使用されるのでしょうか、それとも個人の衛生に関連するのでしょうか?
それは椅子やベンチのように、座ったりサポートしたりするために通常使用されるものですか?

技術的には、20 の質問を使い果たしました。しかしその後、次のような声明を発表しました。

そう、郵便ポストでした！それから私はその作品を見せてもらうように頼みました。返答内容は次のとおりです。

GPT-3.5 が質問に答える番です

私は、ゲームの形勢を逆転させて、私が質問者だったらどうなるか見てみることにしました。これが私のプロンプトです:

さて、今回は何か思いついたので質問させていただきます。

そして、ここに私の質問があります:

屋外でよく見かけるものなのでしょうか？
屋内でも見つかるのでしょうか？
生きているのか？
電力を使用しますか?
デジタル技術に依存しているのでしょうか？
主な使用価値は画面を通じて提供されますか?
主に食事の準備に使用されますか?
主に娯楽のために使用されますか?
その主な使用価値はノイズを生成しますか?
ポータブルですか？
オーディオメディアのみを再生しますか?
外付けのヘッドフォン、イヤフォン、またはスピーカーに依存していますか?
携帯音楽プレーヤーまたはMP3プレーヤーですか?

結局のところ、私は13の質問でそれを推測しました。私にとって大きなヒントは、質問 6 の「主な使用価値は画面経由で配信されていますか?」に対する回答が「いいえ」だったということです。以前、「デジタル技術に依存していますか?」という質問に「はい」と答えていました。

GPT-4 が質問に答える番です

GPT-4 で再試行しましたが、つまづいてしまいました。非常にクリエイティブなオブジェクトが選ばれましたが、私には理解できませんでした。

真ん中の質問 15 で、ChatGPT Plus が質問しすぎたために私をブートさせたことを指摘しておきます。

質問が多すぎると言われる特権のために月額 20 ドルを支払うのは非常に迷惑です。子供の頃によく聞いた話です。確かに、大人として、お金を払っている客として、叱られる必要はありません。

私が尋ねた質問は次のとおりです。

これは主に屋内で使用されるものですか?
生きているのか？
電力を使用しますか?
車より大きいですか？
それは人工的に作られたものですか？
可動式ですか？
庭仕事に使われているのでしょうか？
主に子供が使用しますか？
車輪は付いていますか？
主に住宅地に設置されているのでしょうか？
家具として使われているのでしょうか？
装飾的ですか？
季節限定ですか？
何かを保持するためのものですか？
質問は何問ありますか?
単語や数字が表示されますか?
家に付いているのでしょうか？
成長しますか？
冷蔵庫より小さいですか？
プランターですか？

では、AIは何を選択したのでしょうか？ガーデンノーム。 AIに任せるしかない。それは楽しくて創造的でした。本当に興味深いのは、提示されている課題の種類を AI がどの程度理解しているかということです。試合後、私は次のように指示しました。

どのオブジェクトを使用するかを決定する作業を示します

答えは次のとおりです。

私たちは何を学んだのでしょうか？

この実験が私たちに教えてくれたことのいくつかをまとめてみましょう。以下に、簡単に考えてみましょう。

シーケンス内の次の単語を予測するだけであると説明されているものについては、大規模な言語モデルは、このゲームが何であるか、そしてそれがどのように機能するかを非常にしっかりと把握しています。
これは、Stack Exchange の OP (元の投稿者) のエクスペリエンスとは明らかに異なります。おそらく、「失敗した」という声明が投稿されてから 3 か月で ChatGPT は大幅に改善されたと思われ、間違いなく、ChatGPT Plus は「インテリジェンス」レベルをさらに一段階引き上げています。
GPT-3.5 モデルと GPT-4 モデルは異なります。有料の GPT-4 モデルでは、オブジェクトの関係をよりよく把握できます。
また、プレイヤーがオブジェクトを選択する場合、GPT-4 は GPT-3.5 に比べてより洗練され、創造的になります。ガーデンノームはインスピレーションを得たオブジェクトの選択でした。
ChatGPT で 20 の質問をプレイすると、答えを推測しようとして「質問が多すぎる」タイムアウトになってしまう場合があります。

以上のことから、ChatGPT は 20 の質問のゲームを処理できると明確に結論付けることができます。オブジェクトの関係性を十分に理解しているため、適切な質問をし、質問に適切に答え、難しいオブジェクトを選択できるようです。

先に進み、オブジェクトを選択し、その結果を以下のコメントで ChatGPT で共有してください。