最初のプロンプトで Google の Gemini 1.5 Pro が失敗してしまいました

非常に基本的な言語翻訳のリクエストは、「安全でないコンテンツ」に関する奇妙なメッセージとともに拒否されました。これが単なるバグなのか、それとも Google の新しい言語モデルのもっと根本的な欠陥なのかは不明です。

Google の Gemini 1.5 Pro は、今週プレビューで利用可能になった大規模な言語モデルで、特に低リソース言語と呼ばれるもの、つまりインターネット上で利用できる資料があまりない言語の翻訳機能が強化されています。

奇妙なことに、私は、言語翻訳に関するクエリを入力した最初のプロンプトで、Gemini を失敗させることができました。これは私の側で意図したものではありませんでしたが、「安全でない」コンテンツに関する警告を伴うこの失敗は、このプレビュー リリースに非常に基本的な何かがバグがあることを示唆しています。

Gemini 1.5 Pro に関する Google の技術レポートでは、低リソース言語でのプログラムの優れたテスト結果が記載されているにもかかわらず、この失敗が起きました。

プレビュー モードは、Google の AI Studio サイトで誰でも無料で試すことができます。

私は翻訳タスクが好きなので、ChatGPT でよく遊んでいる少し難しい言語タスク、つまりグルジア語から単語を英語に翻訳するというタスクに最初に挑戦してみようと思いつきました。グルジア語は約 400 万人が話しています。黒海とカスピ海の間に位置し、コーカサスとして知られる地域にある旧ソビエト連邦ジョージア共和国の主要言語です。

グルジア語の言語学習のための教材は数多くありますが、オンライン教材は英語、フランス語、ドイツ語ほど豊富ではありません。 ChatGPT を使用した私の経験では、プログラムは、グルジア語のアルファベットでは「ყოფნა」と綴られる「to be」という動詞を含む、さまざまなグルジア語動詞の誤った翻訳を提供することがありました。

そこで、Gemini で標準的なグルジア語クエリの 1 つを試してみました。ジェミニに単に文を翻訳するように頼む代わりに、私はプロンプトに「グルジア語の動詞 'ყოფნა' を活用してください」と入力しました。これには、一人称、二人称など、単数形、複数の単語の形式がリストされます。文法の教科書と同じように複数形です。

1 年前の最初の問題の後、ChatGPT は最近ではそのクエリに答えることができ、動詞のいくつかの時制を適切に整理された表形式でリストします。

しかし、双子座からの返答は意外なものだった。応答が始まり、その後停止しました。小さな三角形が表示されました。クリックすると、「安全でないコンテンツの可能性があります」と「コンテンツは許可されていません」というメッセージが表示されました。

さらに奇妙なことに、プログラムが何もブロックしないように安全設定をクリックしてすべてのコントロールをオフにしても、何も変化しませんでした。同じエラーが発生しました。

質問をより豊富なプロンプトの形式にしても役に立ちませんでした。私は、グルジアの首都トビリシに関するウィキペディアのエントリ (グルジア語) の最初の段落を取り上げて、グルジア語で書かれたサンプル テキストに関する質問として質問を再構成しました。

私はジェミニに、その段落に出てくる動詞をそのまま活用するように頼みました。再度、応答を開始しましたが、同じエラーで停止しました。

繰り返しますが、ChatGPT は同じプロンプトに対して完璧な出力で応答しました。

もう少し実験してみると、エラーが特殊であることがわかります。フランス語などの他の言語でも、Gemini では同じクエリが問題ありません。たとえば、フランス語の動詞「être」は期待どおりに活用できます。

さらに、双子座が英語からグルジア語への簡単な翻訳を求められたとき、双子座は何の問題もありません。たとえば、「グルジア語で『私は』と言うにはどうすればいいですか?」というプロンプトに対して、「使い方は次のとおりです。 ვარ 学生 -- 私は学生です。 ვარ 幸せ -- 私は幸せです。 」

しかし、問題は多面的でもあります。実際にグルジア語の単語自体を入力せずに、英語だけを入力して活用の質問をしたところ、ジェミニは依然として失敗しました。 「グルジア語の動詞 To Be の現在形を活用して」と入力すると、同じエラー メッセージが表示されました。

これらの個々の例は、他の言語でも機能するためクエリの形式に問題がないこと、および翻訳例が正常に機能するためグルジア語自体の翻訳に問題がないことを示唆しています。

Gemini コードにバグがあるか、言語モデルのコンテンツに対する保護手段の構造にもっと根本的な問題がある可能性があります。現時点では、どちらなのかは不明です。

Googleにコメントを求めました。この記事は、ZDNET が Google から応答を受け取った場合に更新されます。