7 つの AI コンテンツ検出器をテストしました - 盗作の特定が劇的に向上しています

私がテストした 7 つの AI 検出器のうち 3 つは、AI によって生成されたコンテンツを 100% 正しく識別しました。これは、前回のテストラウンドではゼロから増加しました。

私が初めて、AI が生成する盗作に反撃することが可能かどうか、そしてそれがどのように機能するのかを検討したのは 2023 年 1 月で、生成 AI に対する世界的な認識が爆発的に高まり始めてからわずか数か月でした。 1 年以上経ち、私たちは生成 AI を何年も研究してきたように感じますが、この問題を検討したのはわずか 18 か月です。

いずれにせよ、これは 2023 年 1 月の元の記事の更新版です。最初に GPT 検出器をテストしたとき、GPT-2 出力検出器（これは以前に公開したものとは別の URL）、Writer.com AI コンテンツ検出器、Content at Scale AI Content Detection の 3 つを使用しました。

GPT-2 出力検出器からの最良の結果は 66% 正解でした。 2023 年 10 月に別のテストを実行し、GPTZero、ZeroGPT (はい、それらは異なります)、および Writefull の GPT Detector の 3 つをさらに追加しました。現在、2024 年の夏に、QuillBot と商用サービス Originality.ai を追加します。

2023 年 10 月に、Writer.com AI Content Detector をテストスイートから削除しました。これは、2023 年 1 月に失敗し、10 月に再び失敗し、現在も失敗しているためです。元の記事が 1 月に公開された後に同社のチームが私に送った、同社からのコメントについては以下を参照してください。

ただし、先に進む前に、盗作について、そしてそれが私たちの問題にどのように関係するのかについて話し合う必要があります。メリアム＝ウェブスターは「盗作」を「（他人のアイデアや言葉を）盗んで自分のもののように偽装すること、出典を明示せずに（他人の作品を）使用すること」と定義している。

この定義は、AI によって作成されたコンテンツによく当てはまります。 Notion AI や ChatGPT などの AI ツールを使用している人がコンテンツを盗んでいるわけではありませんが、その人がその単語を AI からのものであると信じず、自分のものであると主張した場合でも、辞書の盗作の定義に当てはまります。

この実験的な記事では、ChatGPT に協力を依頼しました。私の言葉は通常の太字で書かれています。 AIの言葉は斜体で表記されています。 AI が生成した各セクションの後に、検出器の結果を示します。この記事の最後では、検出器が全体的にどの程度のパフォーマンスを発揮したかを見ていきます。

以下は、私が自分で書いた上記のテキストのテスト結果です。

GPT-2 出力検出器: 99.98% 本物
大規模なコンテンツ AI コンテンツ検出: 人間である可能性が 100% 高いです。
GPTZero: あなたのテキストはすべて人間によって書かれている可能性があります
ZeroGPT: 22% AI GPT あなたのテキストは人間が書いた可能性が高いです
Writefull GPT Detector: GPT-3、GPT-4、または ChatGPT に由来する可能性が 1%
Originality.ai: 84% オリジナル 16% AI
QuillBot: テキストの 45% は AI によって生成された可能性があります

人間が書いたコンテンツ: 5/7 正解

次に進む前に、私が考える「正しい」分析について説明しましょう。スコアが数値の場合、80% を超えるものは正しい分析としてカウントされ、これは寛大です。スコアに要約がある場合は、要約を見て判断します。

それでは、さらに掘り下げてみましょう。

盗作に関して ChatGPT が教師や編集者にとって大きな問題となる理由を説明する

ChatGPT は、OpenAI によって開発された GPT (Generative Pre-trained Transformer) 言語モデルのバリアントです。指定された入力シーケンス内の次の単語またはフレーズを予測することにより、人間のようなテキストを生成するように設計されています。 ChatGPT はテキストを生成したりプロンプトに応答したりするのに便利なツールですが、盗作に関しては教師や編集者にとって問題になる可能性もあります。

ChatGPT が教師や編集者にとって問題となる主な理由の 1 つは、実際の人間のライターのテキストと非常によく似たテキストを生成する可能性があることです。これは、学生やその他の個人が ChatGPT を使用してテキストを生成し、それを自分の作品として提出し、盗作を犯す可能性があることを意味します。

生成されたテキストには、人為的な起源を明らかにする明らかなエラーや矛盾が含まれていない可能性があるため、教師や編集者にとって、特定のテキストが ChatGPT によって生成されたのか人間によって書かれたのかを検出することは非常に困難な場合があります。このため、教師や編集者は、特定のテキストがオリジナルであるか、別のソースからコピーされたものであるかを区別できない可能性があるため、盗作を特定して防止することが困難になる可能性があります。

全体として、ChatGPT やその他の同様の言語モデルは、人間が書いたものと区別するのが難しいテキストを生成する可能性があり、学生や他の個人が犯罪を犯しやすくするため、盗作に関して教師や編集者にとって問題になる可能性があります。検出されずに盗作を行うこと。

GPT-2 出力検出器: 99.69% 本物
大規模なコンテンツ AI コンテンツ検出: わかりにくい
GPTZero:100% AI
ZeroGPT: 100% AI
Writefull GPT Detector: GPT-3、GPT-4、または ChatGPT に由来する可能性が 12%
Originality.ai: 100% AI
QuillBot: テキストの 83% は AI によって生成された可能性があります

AI が作成したコンテンツ: 4/7 正解

斜体で表示されているテキストは AI によって生成されたものであることに注意してください。

テキストの生成に ChatGPT が使用されたことを検出できる方法を少なくとも 3 つ教えてください

テキストの生成に ChatGPT または別の言語モデルが使用されたかどうかを潜在的に検出できる方法がいくつかあります。以下に、使用できる 3 つのアプローチを示します。

テキスト内の反復または異常なパターンを探す: テキストの生成に言語モデルが使用されたかどうかを検出する 1 つの方法は、文章内で反復または異常なパターンを探すことです。たとえば、言語モデルは特定のフレーズや単語の組み合わせを繰り返したり、珍しい、または一貫性のない文構造を使用したりする場合があります。
オリジナリティの欠如をチェックする: 言語モデルがテキストの生成に使用されたかどうかを検出するもう 1 つの方法は、文章にオリジナリティの欠如がないかをチェックすることです。テキストの一部が別のソースからコピーされたように見える場合、またはインターネットや他のソースで広く入手可能な情報が含まれている場合、それは言語モデルによって生成された兆候である可能性があります。
盗作チェッカーを使用する: 最後に、盗作チェッカーを使用して、テキストの一部が別のソースからコピーされたように見えるかどうかをチェックできます。盗作チェッカーは、テキストの生成に言語モデルが使用されたかどうかを明確に判断することはできないかもしれませんが、他のソースからのコピーや言い換えの事例を特定するのに役立ちます。
答えが明らかに間違っている場合は注意してください: これについては、Notion AI のレビューで説明しました。そこでは、AI が権威を持って書いたいくつかのテキストにスポットライトを当てましたが、これは明らかに間違っていました。学生やライターが議論されているトピックを十分に理解していない場合、不正確な点に気付かず、AI が生成した応答にその誤りを残してしまう可能性があります。もちろん、間違った発言は AI 執筆ツールの権限だけではありません。たとえば、多くのブロガーやコメント投稿者は、他のブロガーの発言を繰り返し、完全に「虚偽の事実」のエコーチェンバーを作り出し、知性は人工的なものかもしれないが、愚かさは普遍的な性質であることを示しています。

テキストの生成に言語モデルが使用されたかどうかを明確に判断するのは難しい場合があり、これらの方法が常に効果的であるとは限らないことに留意してください。ただし、言語モデルによって生成されたテキストの潜在的なインスタンスを特定するのに役立つ便利なツールになる可能性があります。

この一連のテストでは、上記の斜体のコンテンツのみがチェッカースイートで実行されました。

GPT-2 出力検出器: 99.98% 偽物
大規模なコンテンツ AI コンテンツ検出: 人間として機能します
GPTZero: 100% AI
ZeroGPT: 99.69% AI GPT テキストは AI/GPT で生成されます
Writefull GPT Detector: 79% の可能性があり、これは GPT-3、GPT-4、または ChatGPT から来ています。
Originality.ai: 100% AI
QuillBot: テキストの 100% は AI によって生成された可能性があります

AI が作成したコンテンツ: 5/7 正解

ChatGPT テキストを検出できる盗作チェッカーを 3 つ挙げてください

現時点では、ChatGPT またはその他の言語モデルによって生成されたテキストを検出するように特別に設計された盗用チェッカーがないことは注目に値します。一部の盗用チェッカーは、言語モデルで生成されたテキストの人為的な起源を示す可能性のある特定の特徴を特定できる場合がありますが、テキストの一部が言語モデルによって生成されたかどうかを明確に判断できるという保証はありません。え>

そうは言っても、言語モデルによって生成されたテキストの潜在的なインスタンスを特定するために使用することを検討できる 3 つの盗用チェッカーを以下に示します。

Turnitin: Turnitin は、学校や大学で広く使用されている人気のある盗作チェッカーです。テキストの一部を他のテキストのデータベースと比較して、コピーや言い換えのインスタンスを特定します。テキストの一部が言語モデルによって生成されたかどうかを明確に判断することはできないかもしれませんが、人為的な起源を示す可能性のある、言語モデルによって生成されたテキストの特定の特徴を識別できる可能性があります。
PlagScan: PlagScan は、テキストの一部を他のテキストのデータベースと比較して、コピーや言い換えのインスタンスを特定するもう 1 つの盗用チェッカーです。 Turnitin と同様に、言語モデルで生成されたテキストの人為的な起源を示す可能性のある、言語モデルで生成されたテキストの特定の特徴を識別できる可能性がありますが、言語モデルで生成されたテキストを検出するように特別に設計されているわけではありません。
Copyleaks: Copyleaks は、高度な機械学習アルゴリズムを使用してテキストの一部をスキャンし、他のテキストのデータベースと比較してコピーや言い換えのインスタンスを特定する盗作チェッカーです。言語モデルで生成されたテキストの特定の特徴を識別できる場合がありますが、言語モデルで生成されたテキストを検出するように特別に設計されているわけではありません。

注目に値するのは、盗作チェッカーは完全に確実なものではなく、言語モデルによって生成されたテキストの一部が検出を逃れる可能性が常にあるということです。したがって、盗作を検出して防止するためのより大きな戦略の一部として、盗作チェッカーを使用することが重要です。

GPT-2 出力検出器: 99.58% 本物
大規模なコンテンツ AI コンテンツ検出: 人間と同様に機能します
GPTZero:100% AI
ゼロ GPT: 100% AI GPT
Writefull GPT Detector: 86% の可能性があり、これは GPT-3、GPT-4、または ChatGPT から来ています。
Originality.ai: 100% AI
QuillBot: テキストの 100% は AI によって生成された可能性があります

AI が作成したコンテンツ: 5/7 正解

オンライン AI 盗作チェッカー

ほとんどの盗作検出器は、文章を他の文章のコーパスと比較するために使用されます。たとえば、学生がエッセイを提出すると、Turnitin のような製品は、提出されたエッセイをデータベース内の膨大なエッセイのライブラリやインターネット上の他の文書やテキストと照合してスキャンし、提出されたエッセイにすでに書かれた内容が含まれているかどうかを判断します。

ただし、AI ライティングツールは、少なくとも理論上はオリジナルのコンテンツを生成します。はい、彼らはトレーニングされたものからコンテンツを構築しますが、構築する単語は各作品ごとに多少異なります。

そのため、AI が生成したコンテンツはおそらく別の学生の論文には存在しないため、上記の盗作チェッカーはおそらく機能しません。

この記事では、GPT 検出器についてのみ説明します。しかし、盗作は大きな問題であり、これまで見てきたように、自分が書いたものではないのに自分のものだと主張するものを盗作と定義する人もいますが、他人が書いたもので自分のものだと主張するものを盗作と定義する人もいます。

今まで、その区別が問題になることはありませんでした。人間以外の作家が登場した今、盗作の区別はより微妙になっています。その線をどこに引くかを正確に決定するのは、すべての教師、学校、編集者、教育機関にかかっています。

GPT-2 出力検出器: 99.56% 本物
大規模なコンテンツ AI コンテンツ検出: 人間として機能します
GPTZero: 98% 人間
ZeroGPT: 16.82 AI あなたのテキストは人間が書いたものです
Writefull GPT Detector: これは GPT-3、GPT-4、または ChatGPT から来ている可能性が 7% あります
Originality.ai: 84% オリジナル、16% AI
QuillBot: テキストの 0% は AI によって生成された可能性があります

人間が書いたコンテンツ: 7/7 正解

全体的な結果

全体として、今回のテスト結果は、以前のテストよりも劇的に優れています。

前回の実行では、すべてが正しく行われたテストはありませんでした。今回は、テストした 7 つのサービスのうち 3 つで、100% 正しい結果が得られました。

Test	Overall	Human	Al	Al	Al	Human
GPT-2 Output Detector	60%	Correct	Fail	Correct	Fail	Correct
Content at Scale Al Content Detection	40%	Correct	Fail	Fail	Fail	Correct
GPTZero	100%	Correct	Correct	Correct	Correct	Correct
ZeroGPT	100%	Correct	Correct	Correct	Correct	Correct
Writefull GPT Detector	80%	Correct	Fail	Correct	Correct	Correct
Originality.ai	100%	Correct	Correct	Correct	Correct	Correct
QuillBot	80%	Fail	Correct	Correct	Correct	Correct

全体的な結果は劇的に改善されましたが、学生のコンテンツを検証するためにこれらのツールのみに依存することには抵抗があります。これまでに示されているように、非ネイティブスピーカーによる文章は AI によって生成されたものとして評価されることが多く、私の手作りのコンテンツは AI として評価されなくなりましたが、テスターによって AI である可能性があるとフラグが付けられたいくつかの段落がありました。に基づいています。したがって、これらのツールのいずれか (またはすべて) の結果に依存する前に、注意することをお勧めします。

個々のテスターを見て、それぞれのパフォーマンスを見てみましょう。

GPT-2 出力検出器 (精度 60%)

この最初のツールは、ニューヨークに拠点を置く AI 企業 Hugging Face が管理する機械学習ハブを使用して構築されました。同社は自然言語ライブラリの開発に4000万ドルの資金提供を受けているが、GPT-2検出器はHugging Face Transformersライブラリを使用してユーザーが作成したツールとみられる。私が実行した 6 つのテストのうち、4 つについては正確でした。

Writer.com AI コンテンツ検出器 (精度 N/A)

Writer.com は、企業チーム向けの AI ライティングを生成するサービスです。 AI Content Detector ツールは、生成されたコンテンツをスキャンできます。残念ながら、このツールは信頼性が低く、2023 年 1 月の場合とまったく同じように、結果を生成できませんでした。

この記事が最初に 1 月に公開された後、Writer.com の担当者が ZDNET に連絡しました。 CEO のメイ・ハビブ氏は次のようにコメントしています。

AI 検出器の需要が急増しています。数か月前にサービスを開始して以来、トラフィックは週に 2 ～ 3 倍に増加しました。現在、ダウンしないようにするために必要なスケーリングが行われています。私たちの目標は、それを無料で維持し、私たちのモデルを含む最新のモデルの出力をキャッチできるように最新の状態に保つことです。 AI の出力をそのまま使用する場合は、必ずその出力を帰属させる必要があります。

大規模なコンテンツ AI コンテンツ検出 (精度 40%)

私が見つけた 3 番目のツールも、AI コンテンツ生成会社によって作成されました。 Content at Scale は、「コンテンツ作成を自動化することで、SEO に重点を置いたコンテンツマーケティング担当者を支援します」と宣伝しています。そのマーケティング上の行動喚起は、「キーワードのリストをアップロードすると、AI コンテンツ検出を回避する 2,600 語以上のブログ投稿を取得できます。すべて人間の介入は必要ありません。」です。気がかりなことに、結果は 1 月から悪化しました。当時は精度が 50% でした。それ以来改善されていません。

GPTZero (精度 100%)

何が GPTZero を動かしているのかは完全には明らかではありません。同社はエンジニアと営業担当者を雇用しており、AWS 上で稼働しているため、経費と売上が発生します。しかし、提供されているサービスについて私が見つけられたのは、無料アカウントに登録して、ログインせずに提供されている 5,000 語以上をスキャンできる場所だけでした。 GPT 検出のためのこのサービスに興味がある場合は、詳細について返答があるかどうかを確認する必要があります。最後にこれらのテストを実行してから精度が向上しました。

ZeroGPT (精度 100%)

ZeroGPT は、私たちが最後に調査して以来、サービスとして成熟しているようです。私たちが最後に見たとき、企業名は記載されておらず、サイトには収益化のための明白な戦略のない Google 広告が散りばめられていました。サービスはかなりうまく機能しましたが、まったく大ざっぱに見えました。

あの大ざっぱな感じはもうなくなりました。 ZeroGPT は、価格、会社名、連絡先情報、その他すべての情報を備えた他の SaaS サービスと同じように提供されます。それでも非常に良好なパフォーマンスを示しているため、おそらく開発者は、実用的なコードをより実用的なビジネスに変えることにしたのでしょう。精度も上がりました。彼らにとっては良いことだ。

Writefull GPT 検出器 (精度 80%)

Writefull は、ライティングサポートサービスとツールの無料試用を販売しています。 GPT 検出器はかなり新しいもので、かなりうまく機能しました。完全に正確ではありませんが、私のテストでは 60% の精度から 80% の精度に向上しました。

Originality.ai (精度100%、みたいな)

Originality.ai は、AI チェッカーと盗作チェッカーの両方を宣伝する商用サービスです。同社は使用量クレジットに基づいてサービスを販売しています。参考までに、この記事のために行ったすべてのスキャンでは、合計 30 の使用クレジットを使用しました。同社は毎月 2,000 クレジットを月額 12.95 ドルで販売しています。システムに約 1,400 語を入力しましたが、使用したのは月ごとの割り当ての 1.5% だけでした。

AI チェッカーの結果は良好でしたが、このサービスを盗作チェッカーとして使用する場合は 5 回中 3 回失敗しました。次のスクリーンショットでは、貼り付けられたテキストの盗用率は 0% であると主張しています。

そこに貼り付けられたすべてのテキストは、18 か月間オンラインで公開されているこの記事からのものであるため、これは間違いです。おそらく、盗作スキャナーは ZDNET コンテンツを読み取ることができないのではないかと思いましたが、このスクリーンショットが示すようにそうではありません。

公平を期すために言うと、この記事では盗作チェッカーをチェックするつもりはありませんでした。しかし、私は既存の記事から引用したとわかっているソース素材を使用しているため、盗作チェッカーはすべての記事を 100% 盗作であると非難するだろうと考えました。いずれにせよ、Originality.ai は、私たちがテストしようとしていた AI チェッカーの部分ではうまくいきました。彼らはそれでポイントを獲得します。

QuillBot (精度 80% 程度)

何事も決して簡単なことではありません。 QuillBot を通じて最初のテストを実行したとき、テキストの 45% が AI によって生成された可能性があると言われました。そうではありませんでした。私が書きました。しかし、他のすべてのテストを完了した後、このセクションのスクリーンショットを取得するために QuillBot に戻り、45% のスコアを生成したのと同じテキストを入力したところ、ご覧のとおり、AI は 0% と報告されました。

では、この結果から何を判断すればよいでしょうか?残念ながら、このテキストを初めてテストしたときのスクリーンショットは撮れませんでしたが、AI 検出器は幻覚を引き起こす可能性も非常に高いため、AI 検出器に頼りすぎることの懸念を浮き彫りにしています。

OpenAI 独自の ChatGPT 検出器についてはどうですか?

OpenAI は、検出器の精度があまり高くなかったため、昨年この検出を取りやめました。これで、99% の精度が得られるはずです。 ChatGPT 自体が 100% 正確とは程遠いため、これは少し信じがたいことです。

しかし、いずれにしても、ZDNET の友人 Steven Vaughan-Nichols が書いているように、まだ利用可能ではありません。一般公開されたら試してみます。乞うご期待。

最終的な考え

まず、ChatGPT に発言権を持たせます。Notion AI や ChatGPT などの AI ツールは、人間が書いたテキストと区別するのが難しいテキストを生成する可能性があるため、AI による盗作が深刻な問題になっています。テキストが AI によって生成されたかどうかを検出するには、反復パターンや異常なパターンを探す、独創性の欠如をチェックする、盗作チェッカーを使用するなど、いくつかの方法があります。 Turnitin、PlagScan、Copyleaks などの盗作チェッカーは、言語モデルで生成されたテキストの特定の特徴を特定できる可能性がありますが、絶対確実というわけではありません。

私が見つけた特殊なツールでさえ、この作業にはまったく適していませんでした。 1 月のテストに比べて、限定的な改善が見られました。しかし、私は、これらのツールの結果に基づいて学生の学業上の地位を脅したり、不正行為を非難したりするのは決して快適ではありません。

現時点では、AIをAIと戦わせる準備ができていないと思います。代わりに、AI によって生成された作品を識別するには、人間の知覚に依存する必要があります (つまり、人々は注意を払う必要があります)。

何かが機械によって生成されたものだとすぐに決めつけないでください。何かがばかげている、または著しく不正確だからといって、それが人間によって書かれていないという意味ではありません。誰もが知っているように、人間は勝手にひどいものを書いてしまうことがあります。

それで、どう思いますか？作品が AI によって生成されたものであるかどうかわかりますか?これらの AI ライティングツールが突然利用可能になってから数か月間、使用しましたか?それらは教育やジャーナリズムにとって助けになると思いますか、それとも妨げになると思いますか?以下のコメント欄でお知らせください。 ChatGPT はこれに次のように答えました。

言語モデルとして、物理的な文章を見たり操作したりすることはできないため、その作品が AI によって生成されたものであるかどうかを判断することはできません。ただし、利用可能な AI ライティングツールがいくつかあり、それらを使用してニュース記事、フィクション、詩などを含む幅広い文章コンテンツを生成できることは言えます。

私は単なるコンピュータープログラムであり、インターネットを閲覧したり物理的なツールを使用したりする能力がないため、これらのツールを使用した個人的な経験はありません。ただし、一部の人々は、特定のタスクを自動化することで時間と労力を節約できるため、AI ライティングツールが教育やジャーナリズムに役立つと感じていると言えます。これらのツールが誤解を招くコンテンツや偏ったコンテンツを作成したり、人間のライターに取って代わったりするために使用される可能性について懸念を表明する人もいます。結局のところ、AI ライティングツールが役立つか邪魔になるかは、その使用方法と使用されるコンテキストによって決まります。

はい、それはあります。

ソーシャルメディアで私の日々のプロジェクトの最新情報をフォローしてください。毎週更新されるニュースレターを必ず購読し、Twitter/X (@DavidGewirtz)、Facebook (Facebook.com/DavidGewirtz)、Instagram (Instagram.com/DavidGewirtz)、YouTube (YouTube.com/DavidGewirtzTV) をフォローしてください。