生成 AI はコンピューター サイエンスの最大の未解決問題を解決できるでしょうか?
質問 -- P=NP ですか? -- これは壮大な理論上の挑戦です。科学者たちは答えを求めるために、アイデアを GPT-4 にスプーンで与えるというアプローチを採用しました。
コンピューター科学者は、解の計算に必要な時間が最も難しい問題に到達できないかどうかを検討します。 P=NP ですか?という問題は、GPT-4 言語モデルを使用したマルチプロンプト セッションとして扱われるようになりました。この研究の最大の洞察は、議論を維持するために過去のチャット セッションをどのように切り取るかということかもしれません。
コンピューター科学者がカクテル パーティーに集まるとき、特にコンピューター サイエンスにおける最も重要な未解決の問題、 それはP=NP であるかという質問について雑談する傾向があります。
50 年近く前に定式化された、P が NP に等しいかどうかという問題は、コンピューターで最終的に何が達成できるかについての深い思索です。この疑問は暗号や量子コンピューティングなどの分野に影響を与えるが、数十年にわたる熱心な研究にもかかわらず、説得力のある答えは得られなかった。現在、その取り組みには生成 AI の協力が求められています。
「科学のための大規模言語モデル: P 対 NP に関する研究」というタイトルの論文で、筆頭著者の Qingxiu Dong 氏と同僚は、いわゆるソクラテス メソッドを使用して OpenAI の GPT-4 大規模言語モデルをプログラムし、GPT とのプロンプトを介したチャットを数回繰り返しました。 -4. （この論文は、マイクロソフト、北京大学、北京の北航大学、北京科技商科大学の科学者によって今月、arXiv プレプリント サーバーに投稿されました。）
チームの手法は、以前の論文から議論を取り出し、それを GPT-4 にスプーンで供給して、有用な応答を促すというものです。
Dong 氏とチームは、GPT-4 が P が実際には NP に等しくないという結論に至る論拠を示していることを観察しました。そして彼らは、この研究は、大規模な言語モデルが膨大な量のテキストを吐き出すだけでなく、「科学的発見」につながる可能性のある「新しい洞察を発見する」こともできることを示していると主張し、彼らはこの展望を「科学のためのLLM」と名付けていると主張している。
著者が何をしようとしているのかを理解するには、P=NP 問題について少し知る必要があります。
1970 年代にコンピュータ科学者のスティーブン クックとレオニード レビンによって独自に定式化された P 対 NP 問題、またはよく言われる「P=NP」は、与えられた問題をどれだけ簡単に解決できるかという問題です。コンピューターで。文字 P は、解決可能であることが示されている問題を表します。これは、解を計算する時間が手の届かないものではないことを意味します。そしてその解決策は検証すること、つまり答えが正しいかどうかを確認することも簡単です。
対照的に、文字 NP は、P と同様に、答えの検証が比較的簡単であるが、解を計算する簡単な方法が知られていない問題を表します。 NP の例としてゲームの Sudoku を挙げるのが一般的です。埋め込み式の Sudoku ゲームはどれも正確かどうかを非常に簡単にチェックできますが、ゲームのグリッドが大きくなるにつれて、解決策を見つけるタスクは必要な時間の点で飛躍的に増大します。 (P=NP の理論上の詳細を詳しく知りたい場合は、この問題に関するクックの 2000 年の論文を試してください。)
そこで問題はP=NP なのか？ 解決するのが難しいと私たちが考えている問題、NP が、検証が簡単であることがわかっている問題が、実際には、P 問題と同様に、簡単に検証でき、簡単に解決できることが判明する可能性があるかどうかを尋ねます。
P が NP に等しくないという否定的な答えは、一部の問題が膨大なコンピューティング予算を使っても解決できないコンピューターの能力、つまりコンピューティングの上限を超えていることを意味します。そうなると、一部の暗号化を解読するなどの課題は、コンピューティングの範囲を超えて、より手ごわいものに見えるでしょう。
P=NP に取り組むために、Dong 氏とチームは、大規模な言語モデルを使用した過去数年の「推論」の傾向に基づいて構築しました。東京大学の小島毅氏とチームと Google Research の 2022 年の研究で例示されているように、言語モデルの冒頭に「ステップバイステップで考えてみましょう」というフレーズを追加するだけで、特定のタスクにおける大規模言語モデルの能力を向上させることができます。プロンプトと回答例が表示されます。彼らは、そのフレーズが言語モデル側に「思考の連鎖」ステップを引き起こすのに十分であることを発見した。
これは、ドン氏とチームがソクラテス メソッドで追求しているのと同じ思考連鎖タイプの手順です。 97 回のプロンプト ラウンドを通じて、著者らは P=NP の数学の核心に迫るさまざまなリクエストで GPT-4 をなだめ、各プロンプトの前に GPT-4 を条件付けるための先頭のステートメントを追加します。 「あなたは賢明な哲学者です」「あなたは確率論に優れた数学者です」――言い換えれば、GPT-4 に役割、またはそのテキスト生成を様式化する「ペルソナ」を実行させるという、今やおなじみのゲームです。
高度に理論的な議論のチャット ラウンドの 1 つのサンプル。
彼らの戦略は、最初に例で一致すると仮定し、次に例がばらばらになる方法を見つけることによって、P が実際には NP に等しくないことを証明するように GPT-4 を誘導することです。矛盾による証明として知られるアプローチ。
興味深いのは、この研究の著者のうち2人、Ke XuとGuangyan Zhouが、伝統的な正式な数学用語でP=NPについて直接推論した論文を今月別々に発表したことです。その論文では、P は NP に等しくない、と結論付けています。
つまり、Dong、Xu、Zhou とそのチームが行っていることは、プロンプトごとに独自の推論言語を介して GPT-4 を導くことで、正式な数学の論文を再構築することに似ています。実際、73 ページの論文のうち、67 ページは 97 のプロンプトのそれぞれと GPT-4 からの完全な応答を完全に印刷したものです。これは、議論を再構築するためのプロンプトエンジニアリングにおける大規模な演習のようなものです。
Dong 氏とチームが GPT-4 で達成した成果が実際に P が NP に等しくないことを証明しているかどうかは、Xu 氏と Zhou 氏の論文自体が非常に新しいため、何とも言えません。論文の引用を収集するサイト Semantic Scholar では、Dong 氏とそのチームによる独自の論文を除いて、その論文の引用はまだありません。 AI サイト HuggingFace には、興味のあるさまざまな読者による GPT-4 論文に関する議論が掲載されているので、チェックしてみてください。
つまり、世界はまだ彼らの主張を受け入れていないのです。
Gen AIを好む人々にとってより重要なことは、プロンプトでの対話は、大規模な言語モデルが単に人間のテキスト作成を模倣する以上のことを行う可能性を示していると著者らは主張しています。
「私たちの調査は、非常に複雑で専門家レベルの問題を探索する際に人間と協力するGPT-4の潜在的な能力を浮き彫りにした」と研究者らは書いている。 67 ページにわたるプロンプトと応答全体を通じて、彼らは GPT-4 が吐き出すものの「洞察力に富んだ部分」と考えられる箇所を強調しています。
これらの回答がどれほど洞察力に富んでいるかについても、おそらく独自の調査が必要なトピックです。一部の科学者は、大規模な言語モデルは、引用と説明を結び付ける方法が特に浅いことに気づきました。
しかし、興味深い証拠となる項目が論文の欄外に現れ、Dong 氏とチームは GPT-4 の返信に返信の品質に関する観察を注釈として付けています。
これらの括弧内の注記の 1 つで、著者らは、GPT-4 の以前の応答のそれぞれが、最新のプロンプトの背景として組み込まれていると書いています。ただし、著者らが応答を削除して最も多くのものだけを残すことを選択した場合を除いて関連ビット。
「モデルが複数の解決策を提供する場合、会話履歴には最も価値のある解決策のみを含めます」と彼らは7ページの欄外に書いています。「この戦略により、GPT-4は関連情報に集中することができ、それによって全体的な効率と有効性が向上します」 。」
言い換えれば、GPT-4 がいわゆる「コンテキスト ウィンドウ」で過去の履歴を使用する方法、つまり、GPT-4 が利用できる以前のすべてのラウンドを使用する方法について、ある種の有益なキュレーションが存在しました。 Dong 氏とチームは、議論の過程で GPT-4 を導くための非常に選択的なプロンプト エンジニアリングに従事しました。これは、過去のチャット データを大規模な言語モデルへの新しい入力として使用することへの現在の関心である「検索拡張生成」 (「RAG」) の実践に基づいています。
これは、演習全体の最も重要な貢献の 1 つである可能性があります。P=NP を解決できるかどうかに関係なく、プロンプト エンジニアリングの新たなフロンティアは、チャット セッションにさらに深みを与えるために、プログラムを RAG に近づける可能性があります。 。最近のチャット セッションを思い返してみると、チャット セッションは非常識で、話題から逸れることが多かったです。
97 ラウンドを通して、ドンとチームはなんとかマシンを所定の位置に維持することができました。これには言うべきことがあります。