ああ、今では AI は迅速なエンジニアリングにおいてあなたよりも優れています

OPRO プログラムは、タスクの解決に近づくためにさまざまなプロンプトを試すタスクを自動化します。

あなたは次のキャリアの方向性を考え出したところです。それは、OpenAI の ChatGPT などの生成人工知能プログラムに最適な入力フレーズを作成する技術であるプロンプト エンジニアリングの達人になることです。

それほど速くはありません: プロンプトの技術自体が、大規模な言語モデルによる自動化に引き継がれる可能性があります。

GoogleのDeepMind部門が先週投稿した論文の中で、研究者のChengrun Yang氏らのチームは、タスクの解決に最も近いプロンプトに到達するまで、大規模な言語モデルにさまざまなプロンプトを試行させるOPROと呼ばれるプログラムを作成した。これは、人間が入力によって行うような試行錯誤を自動化する方法です。

arXiv プレプリント サーバーに投稿された研究論文「オプティマイザーとしての大規模言語モデル」では、言語モデルを使用してあらゆるものを「最適化」する方法、つまり、プログラムがますます優れた答えを生成し、それに近づく方法の実験について詳しく説明しています。ある理想的な状態へ。

ヤン氏とチームは、その理想的な状態を明示的にプログラムするのではなく、大規模な言語モデルを使用して、到達すべき理想を自然言語で記述することにしました。これにより、AI プログラムはさまざまなタスクの最適化に対する絶えず変化する要求に適応できるようになります。

Yang と共著者が書いているように、大規模な言語モデルの言語処理の柔軟性は、「最適化の新たな可能性を提示します。最適化問題を形式的に定義し、プログラムされたソルバーで更新ステップを導出する代わりに、最適化問題を自然な形式で記述します。」次に、問題の説明と以前に見つかった解決策に基づいて新しい解決策を繰り返し生成するように LLM に指示します。

OPRO プログラムの中心となるのは、「Meta-Prompt」と呼ばれるアルゴリズムです。メタプロンプトは、以前のプロンプトを振り返り、それらのプロンプトが特定の問題を解決する上でどのように機能したかを測定します。次に、複数のプロンプトを生成し、それらを試して最適なプロンプトを見つけます。

DeepMind のメタプロンプトの構造

実際、Meta-Prompt は、キーボードの前に座って、これまでに機能したものと機能しなかったものに基づいて、新しい可能性をたくさん入力しているようなものです。 Meta-Prompt は、任意の大規模な言語モデルに接続して、実際のプロンプトと回答を生成できます。著者らは、GPT-3 や GPT-4、Google 独自の PaLM 2 言語モデルなど、さまざまな大規模な言語モデルをテストしています。

著者らは、赤ちゃんの問題について OPRO をテストすることから始めます。 1 つは線形回帰です。この場合、プログラムは「関数の最小化」、つまり過去の例と類似しているが、結果としてより小さい数値を生成する数値のペアを見つけるように求められます。

重要なのは、言語モデルは、通常はその問題専用に構築されたプログラム (いわゆる「ソルバー」) によってアプローチされる数学問題の解決策を、プロンプトを表示するだけで見つけることができるということです。著者らは、「LLM は、メタプロンプトで提供された過去の最適化の軌跡にのみ基づいて、小規模な問題の最適化の方向性を適切に把握します」と書いています。

大規模な言語モデルに対して適切なプロンプトを作成する技術自体が、最適化されるべきタスクとみなすことができることがわかりました。

研究者たちは以前からそのことを知っていました。マイクロソフトの科学者たちは今年初めに、「自動プロンプト最適化」と呼ばれるものを提案しました。このアプローチでは、プロンプトの記述を自動的に編集して改善します。ヤンとチームはさらに先へ進みました。以前のプロンプトを単に編集して改善するのではなく、Meta-Prompt はまったく新しいプロンプトを生成します。

彼らの言葉を借りれば、「私たちの作業における各最適化ステップは、自然言語フィードバックに従って 1 つの入力プロンプトを編集したり、新しいプロンプトが入力プロンプトに従うことを要求したりするのではなく、以前に生成されたプロンプトの軌跡に基づいてテストの精度を向上させることを目的とした新しいプロンプトを生成します。」意味的には同じ意味です。」

赤ちゃんの問題の後、ヤン氏とチームは、Meta-Prompt がプロンプトをどの程度最適化できるかを確認することにしました。

彼らはメタプロンプトをいくつかのベンチマーク評価でテストし、プロンプトを適切に実行することでパフォーマンスが向上することが示されています。

1 つは、OpenAI によって 2021 年に導入された「GSM8K」で、「ベスは 1 週間に 4,2 ダースのクッキーを焼きます。これらのクッキーが 16 人で均等に共有される場合、クッキーの数はいくつになりますか?」などの一連の小学校算数文章題です。一人一人が消費していますか？」

2 番目のテストは、Google と数十の協力組織によって昨年導入された推論テストである BIG-bench から派生したものです。今年導入されたBIGベンチ・ハードと呼ばれるGoogleの作者による新バージョンは、大規模な言語モデルが過去に人間レベルの精度を達成できなかった推論問題に焦点を当てている。

Googleの著者らが元の論文で書いているように、BIGベンチの問題は「多様」で、「言語学、幼児期の発達、数学、常識的推論、生物学、物理学、社会的偏見、ソフトウェア開発などから問題を引き出している」。

著者らは、両方のタスクで自動生成されたプロンプトを、東京大学の小島武氏とチームおよび Google Research の 2022 年の研究に例示されている「手作業」で作成されたプロンプトと比較しています。

有名な話として、小島氏とそのチームは、プロンプトの最初に「ステップバイステップで考えてみましょう」というフレーズを追加し、その後に回答例を追加するだけで、GSM8K や BIG-bench などのタスクにおける大規模言語モデルの能力を向上できることを発見しました。彼らは、そのフレーズが言語モデル側に「思考の連鎖」ステップを引き起こすのに十分であることを発見した。

Meta-Prompt を使用すると、Yang 氏とチームは、「ステップバイステップで考えてみましょう」に似た、しかしより良い、つまりより最適な言葉でプロンプトを自動的に生成できることに気づきました。

言語モデルに、より最適なプロンプトを提示するよう促すために使用される「メタプロンプト」の例。オレンジ色のテキストはメタ プロンプトで、言語モデルにプロンプトの構築方法を指示する指示です。青字は一例です。紫色のテキストは、最適化タスクと出力形式を説明します。

場合によっては、自動生成されるプロンプトが非常に複雑になることがあります。たとえば、「temporal_sequence」と呼ばれる BIG ベンチ推論タスクでは、言語モデルにシナリオのいくつかの条件が提供され、次のように何かが起こった時刻を答えるように求められます。

今日、リチャードはプールに行きました。彼らは何時までに行った可能性がありますか？

私たちは次のことを知っています: リチャードは午前 7 時に起きました。
サマンサはリチャードが午前 7 時から午前 8 時まで庭を歩いているのを見ました。
マークはリチャードが午前 8 時から午前 9 時までジムで運動しているのを見ました。
デビッドはリチャードが学校の授業に出席しているのを見ました。学校は午前9時から午前10時まででした。
アンドリューはリチャードが午前10時から午後4時まで駅で待っているのを見ました。
スイミングプールは午後5時以降閉まりました。
リチャードは何時までにプールに行くことができましたか?

Yang 氏とチームは、次のような非常に複雑なプロンプトをコンパイルするため、Meta-prompt の方が優れていることを発見しました。

「人がある場所に行った可能性のある時間帯を判断するには、まずその人が他に何もしていなくて、その場所が開いていた時間帯をすべて特定します。次に、その人が何かをしているのが見られた時間帯を除外します。残りの時間は、その人がその場所に行った可能性のある時間です。」

全体として、「当社の最適化されたプロンプトは、GSM8K および Big-Bench Hard で人間が設計したプロンプトよりも大幅に、場合によっては 50% 以上優れている」ことがわかりました。

ただし、プロンプトを最適化するアルゴリズムを最適化するには、まだやるべき作業が残っています。

特に、OPRO のメタプロンプトはネガティブな例から推定することができません。 「各最適化ステップでトレーニング セットからランダムにサンプリングするのではなく、エラー ケースをメタ プロンプトに含めることを試みました」と彼らは観察しています。「しかし、結果は同様であり、エラー ケースだけではオプティマイザー LLM にとって十分な情報が得られないことを示しています」予測が外れた原因を把握する。」

おそらく、次のプログラミングの仕事は、より良いプロンプトを作成するためにメタプロンプトに最適なプロンプトを表示する方法を見つけることです。