OpenAI の新しい AI トレーニング Web クローラーによるデータの取り込みをブロックする方法

ChatGPT の作成者は、GPT-5 を含む次世代 AI システムをトレーニングしていると伝えられています。一言で這いを止めることができます。

ChatGPT の作成者である OpenAI は、GPTBot と呼ばれる新しい Web クローラーを、それをブロックする方法の説明とともにリリースしました。

ChatGPT は、その知能が不安定であるという最近の報告にもかかわらず、これまで構築された中で最も有能な AI システムの 1 つです。 AI チャットボットを開発する OpenAI は、GPT-3.5 や GPT-4 などの大規模言語モデル (LLM) のトレーニングを続けています。

Web クローラーは、Google や Bing などの検索エンジンによって Web サイトをスキャンしてコンテンツにインデックスを付けるために使用されますが、AI 企業によって LLM をトレーニングするためにも使用されます。これらのモデルは、Web サイトのコンテンツや、開発者がトレーニングに使用することを選択したその他のデータから学習します。 Web クローラーを使用すると、LLM が大量のデータでトレーニングできるため、このプロセスが迅速化されます。

「GPTBot によるサイトへのアクセスを許可すると、AI モデルの精度が向上し、一般的な機能と安全性が向上します」と OpenAI は GPTBot のドキュメントで述べています。同社は、ペイウォールへのアクセスを必要とし、個人を特定する情報を収集し、OpenAI のポリシーに違反するテキストを含む Web ページをフィルタリングしていると主張しています。

開発者には、GPTBot がサイトにアクセスしたり、その情報を AI システムのトレーニングに使用したりすることをブロックするオプションがあります。

OpenAI は、サイトへの GPTBot アクセスを禁止またはカスタマイズする方法を説明します。

GPTBot によるサイトへのアクセスを完全にブロックするには、サイト所有者は GPTBot トークンをサイトの robots.txt に追加し、「Disallow: /」を追加します。

OpenAI を使用すると、ユーザーはサイトの特定の部分のみをクロールできるようにすることで GPTBot のアクセスをカスタマイズできます。 GPTBot が Web サイトの一部にアクセスするのをブロックするには、GPTBot をサイトの robots.txt と「許可: /directory-1/」および「禁止: /directory-2/」に追加し、必要に応じてカスタマイズします。

OpenAIはこれまで、ChatGPTの無料版の背後にあるLLMであるGPT-3.5、またはChatGPT Plus加入者が利用できる最新のLLMでありBing AIを強化するGPT-4をトレーニングするためにWebクローラーを使用することを発表していなかった。

GPTBot が OpenAI の現在利用可能な LLM のトレーニングに使用されたかどうかは不明ですが、特に同社が 7 月に名前の商標登録を申請していることから、GPT-5 をトレーニングするウェブ クローラーである可能性があります。 OpenAI は GPT-5 のリリース日を発表していませんが、新しい LLM は現在利用可能な最大の LLM である GPT-4 よりも強力で大規模になることが予想されます。

ChatGPT の立ち上げ以来、OpenAI は、同社が FTC の調査対象となった著作権侵害訴訟を含め、AI ツールがユーザーからデータを盗んでいると主張するいくつかの訴訟に見舞われてきました。 Stack Overflow、Reddit、Twitterなどのウェブサイトは、AI企業にデータへのアクセスに対して課金を開始する計画だと発表した。