ChatGPT はソフトウェア エンジニアリングの質問の半分以上に不正解

ソフトウェア エンジニアリングのサポートとして Stack Overflow を利用することをお勧めします。

ChatGPT は、いつでもあらゆる質問に対して会話形式で回答できる機能を備えているため、チャットボットは情報ニーズを満たす便利なリソースになります。便利であるにもかかわらず、新しい調査によると、ソフトウェア エンジニアリングのプロンプトには ChatGPT を使用したくない可能性があることがわかりました。

AI チャットボットが台頭する前は、ChatGPT と同様の質疑応答モデルを備えた Stack Overflow が、プロジェクトのアドバイスを必要とするプログラマーにとって頼りになるリソースでした。

ただし、Stack Overflow では誰かが質問に答えてくれるのを待つ必要がありますが、ChatGPT ではその必要はありません。

その結果、多くのソフトウェア エンジニアやプログラマーが ChatGPT に質問を寄せるようになりました。 ChatGPT がこうした種類のプロンプトに応答するのにどれほど有効であるかを示すデータがなかったため、パデュー大学の新しい研究でこのジレンマが調査されました。

ソフトウェア エンジニアリングのプロンプトに応答する際に ChatGPT がどれほど効率的であるかを調べるために、研究者らは ChatGPT 517 スタック オーバーフローの質問を与え、それらの回答の精度と品質を調べました。

その結果、512 の質問のうち、ChatGPT の回答の 259 (52%) が不正解で、正解は 248 (48%) だけでした。さらに、回答のなんと 77% が冗長でした。

回答が著しく不正確であるにもかかわらず、結果は、回答が 65% の確率で包括的であり、質問のあらゆる側面に対応していることを示しました。

ChatGPT の応答の質をさらに分析するために、研究者らは、さまざまなレベルのプログラミング専門知識を持つ 12 人の参加者に、回答についての洞察を求めました。

参加者はさまざまなカテゴリにわたって ChatGPT よりも Stack Overflow の応答を好みましたが、グラフからわかるように、参加者は 39.34% の確率で、ChatGPT によって生成された間違った応答を正しく識別できませんでした。

この研究によると、ChatGPT が出力する明確に表現された応答により、ユーザーは応答内の誤った情報を見落とすことになりました。

「ChatGPT 回答には包括的で明確に表現された人型の洞察が含まれているため、ユーザーは ChatGPT 回答内の誤った情報 (確率 39.34%) を見逃します」と著者らは書いています。

不正確であるにもかかわらずもっともらしい回答を生成することは、誤った情報の拡散を可能にするため、すべてのチャットボットにとって重大な問題です。そのリスクに加えて、精度スコアが低いということは、この種のプロンプトに ChatGPT を使用することを再考させるのに十分なはずです。