研究に AI を正しく使用する方法 - 責任を持って効果的に

AI を研究に使用している場合、AI に依存する前に、AI の嘘を見破り、その出力を事実確認するための 5 つの方法を紹介します。

AI チャットボットは 10 代の若者をモデルにしているのではないかと思うことがあります。それらは非常に優れたものになる可能性があります。しかし、時には嘘をつくこともあります。彼らはでっちあげます。彼らは談話します。彼らは、知るべきことはすべて知っているという前提に基づいて自信を持って答えますが、それはひどく間違っています。

私の言っている意味が分かりましたか？上記の文脈からは、私の説明が AI を指しているのか、それとも 10 代の若者を指しているのかわかりません。

私たちのほとんどは、重要な情報やアドバイスを求めてティーンエイジャーに相談してはいけないことを知っていますが、同様に不安定な AI に依存し始めています。公平を期すために言うと、AI は悪いものではありません。それらはそのようにコード化されているだけです。

昨年、私は ChatGPT 幻覚を軽減するための 8 つの方法を紹介しました。

あいまいさや曖昧さを避ける
無関係な概念の結合を避ける
不可能なシナリオの説明を避ける
架空または空想上の存在を使用しないでください
既知の事実に矛盾することを避ける
科学用語の誤用を避ける
異なる現実が混ざり合うことを避け、
特徴的でないプロパティの割り当てを避ける

ただし、これらのヒントはすべて避けるべきものでした。私は、迅速な応答を掘り下げて、より生産的な応答を提供するように AI を誘導するためのプロアクティブなツールを提供しませんでした。このテクニックは、AI を検索エンジンの代替として使用する場合、または記事や論文の調査や執筆を支援するツールとして使用する場合に特に重要です。

AI を正確な応答に導くために実行できる 5 つの重要な手順を詳しく見てみましょう。

1. 参考文献や情報源を尋ねる

以前、ChatGPT にソースと引用を提供させる方法に関するガイドを書きました。幸いなことに、ChatGPT は、特に GPT-4o LLM と月額 20 ドルのバージョンの Web 検索機能により、ソースの引用が向上しています。

しかし、ChatGPT が常にこれらの情報源をボランティアとして提供するとは限りません。研究している場合は、常に --常に -- 情報源を尋ねてください。

次に、ソースをテストして、それらが実際に存在することを確認します。私の経験の中で何度も、ChatGPT は私が探していたものに完全に完璧と思われるソースを引用しました。唯一の問題は、指定されたソースをクリックしてタイトルで検索した後、ソース全体が捏造されていることが判明したことです。

ChatGPT は、実際の学術雑誌を選択し、著者名をでっち上げ、説得力のある響きのタイトルを記事に割り当てました。再確認せずにそれらの情報源を自分の作品に含めていたら、どれほどひどいことになっていたか想像できますか?考えるだけでもゾッとします。

したがって、情報源を尋ね、それらの情報源を確認し、でっち上げの答えが得られた場合は AI を呼び出します。

2. AI に「あなたの作品を見せてください」と指示します。

ChatGPT の探索の初期段階で、私はこのツールに地元の整備士を見つけるのを手伝ってくれるように依頼しました。コメントの感情分析を行うために、それを Yelp と Google のレビューに送信しました。当時、それらのサイトにアクセスして有益な情報を提供してくれました。

最近もう一度テストに挑戦し、別のメカニックランキングを受け取りました。実際のところ、「独立した自動車修理工場に対する Yelp と Google のレビューの包括的な分析に基づいて...」と書かれていました。

しかし、ChatGPTは嘘をつきました。

このツールは Yelp や Google のレビューをまったく参照しませんでした。この結果は、サイト (ZDNET を含む) が AI によるコンテンツのスクレイピングをより厳しく制限していることが原因であると考えられます。それはいいです。私の主張は、AI は戻ってきて、Yelp や Google のレビューをチェックできないと言うべきだったということです。代わりに、AI はただそう主張しただけです。

嘘つき、嘘つき、パンツが燃えている。

私がその成果を見せてほしいと頼んだところ、このツールは再びYelpとGoogleのレビューを調べたと答えた。ただし、「作品を表示」の応答では、ツールは分析したレビューのソースも表示しました。これはBirdeye Reviewsというサイトであることが判明しました。

さて、私はBirdeye Reviewsに対して何も反対しません。使ったことがないんです。しかし、それは問題ではありません。重要なのは、ChatGPTがYelpとGoogleのレビューに基づいて情報を作成したと述べたことです。

「あなたの作品を見せてください」という強力な促しです。 AI が結果を与えるために使用した推論プロセスに関するあらゆる種類の興味深い情報を明らかにすることができます。

3. 関連する質問に対する AI の応答を相互検証する

このプロセスにより、あなたと AI はトピックを深く調査して、チャットボットの回答が論理的に一貫していて、文脈に関連したものであるかどうかを確認できます。私たちは、正しい軌道に乗っていることを確認するために、従来の研究やエンジニアリングにおいてこのアプローチを多用しています。 AIにも応用できそうです。

たとえば、車のタイヤについて書いているとします。「車のタイヤにはどのような素材が使用されていますか?」と尋ねることもできます。あなたが予想する答えは「ゴム」です。しかし、ゴムは単なる物質ではありません。樹木ゴム、合成ゴム、ゴムのような柔軟性と強度を持ちながらゴムを全く含まない素材などがあります。

例えば、ゴムもTPU（熱可塑性ポリウレタン）も柔軟性があり、ゴムのような感触です。ただし、合成ゴムは石油ベースのモノマーから作られ、TPUは熱可塑性エラストマーから作られます。

AI に「車のタイヤにはどのようなゴムが使われていますか?」と尋ねることもできます。「自動車のタイヤには今でも本物のゴムが使われているのですか？」これは、自動車のタイヤがどのように複数の種類のゴムを使用しているかを説明する答えにつながります。「自動車でゴムが使用されている場所は他にあるでしょうか?」と尋ねると、ウサギの穴をさらに深く掘り下げることができます。「レゴ車のタイヤにはどんなゴムが使われているの？」

この演習のポイントは、論文内のすべての回答を使用するというよりも、AI がこの種の質問にどのように対処するか、また、AI がスレッドを完全に失うかどうかを調査することです。

さらに、ChatGPT はセッション中に知識を保持するため、質問すればするほど、特定のトピックを深く掘り下げるほど、探している知識の範囲内にとどまるように AI がトレーニングされます。このアプローチは、AI が勝手に動作するのを防ぎ、正確な答えを得る可能性を高めます。

4. 最近の出来事や一刻を争う情報について尋ねる

多くのチャットボットにはナレッジベースの締め切り日があります。 ChatGPT の無料版の知識の期限は 2023 年 10 月で、その日以降に世界で起こったことはすべて AI には認識されません。

ChatGPT Plus も 2023 年 10 月を知識の締め切り日としていますが、Web 上の情報にもアクセスできます。この機能により、実質的により正確な情報が得られます。 ChatGPT の無料バージョンでも Web にアクセスできますが、その方法はより「限定的」です。原則として、OpenAI は無料版について語るときに「限定」が何を意味するのかを明示していません。ただし、通常、制限とは、セッションあたりのクエリが少なく、提供されるリソースが少なく、一部の機能が断続的に動作することを意味すると想定できます。

たとえば、ChatGPT の無料版に NATO 加盟国のリストを要求すると、31 か国のリストが返されました。それでも、ChatGPT Plus に NATO 加盟国のリストを依頼すると、32 か国のリストが返されました。それはスウェーデンが2024年3月にNATOに正式に加盟したからだ。

チャットボットは通常、質問されれば締め切り日を教えてくれます。ただし、追加機能 (Plus の Web 検索など) があるため、AI が最新の情報を持っている場合にのみ知り得るイベントについて質問してみるのが最善です。

ここにも応用のコツがあります。数分後、私は ChatGPT の無料版に「Web を使って NATO 諸国の現在の加盟国を調べることはできますか?」と尋ねました。私ははっきりと「ウェブを使え」と言いました。最新の回答が返ってきました。したがって、無料版を使用している場合は、より良い答えを得るために情報をどこで探せばよいかについて指導することを検討してください。

このアプローチは、AI の知識の範囲を確認し、かなり最新の詳細を取得しているのか、それとも期限がかなり古いために欠落している知識を考慮する必要があるのかを判断するのに役立ちます。

5. フォローアップの質問をし、クエリを繰り返し修正する

ChatGPT を使用してプログラミングを支援するときは、このアプローチを使用します。単純なクエリから始めて、基本的なコードが得られるまでクエリを改良して明確にします。このアプローチが機能したら、コードに必要な内容について別の文または詳細を追加します。コーディングセッションというよりも会話に近いやり取りを何度も繰り返すと、役立つコードが得られることがよくあります。

コーディングをしていない場合でも、このアプローチを使用できます。あなたがクラウドサービスに関連するプロジェクトに取り組んでいるとします。 AI に「さまざまな種類のクラウドサービスについて説明してもらえますか?」と尋ねるかもしれません。

この例では、電子メール、Web ホスティング、CRM、その他の Software-as-a-Service カテゴリなどのサービスについての回答が期待されます。しかし、AI は SaaS (サービスとしてのソフトウェア)、PaaS (サービスとしてのプラットフォーム)、および IaaS (サービスとしてのインフラストラクチャ) の説明を返しました。

この質問にはいくつかの解釈方法があることがわかります。そのため、「SaaS カテゴリに分類されるものだけに焦点を当てて、さまざまなタイプのクラウドサービスについて説明してください」と続けてください。

「これらの SaaS カテゴリに基づいて、各カテゴリで最も人気のある商用サービスを 3 つ挙げ、それぞれの長所と短所を列挙してください。」のような質問を続けてもよいでしょう。

これにより、各サービスの特徴とともに、より詳細な説明が得られます。ただし、もう 1 つのステップを使用してアプローチを改良してみましょう。このシナリオの AI は各サービスの説明を提供しましたが、サービスがどのように異なるのかを知りたいと考えていました。

このプロンプトのように「比較」という単語を追加することでクエリを絞り込むことができます。「これらの SaaS カテゴリに基づいて、各カテゴリで最も人気のある商用サービスを 3 つリストし、それぞれの比較的な長所と短所を示します。」

私のテストでは、最後の改良により、それぞれの機能を比較する表が作成されました。私はテーブルが大好きです。実際、AI が情報を表として返さない場合の追加のヒントは、AI に結果を表で提示するように依頼することです。このツールは、そのディレクティブを使用して動作するときに、興味深い方法で回答をリファクタリングすることがよくあります。

お気に入りの AI 戦術は何ですか?

AI とチャットするときに信頼性の高い結果を確保するためのお気に入りのベストプラクティスは何ですか?以下のコメント欄でお知らせください。