XのGrokは私のAIコーディングテストで驚くほど良い成績を収めました

Grokはコードを理解できるのか？ほぼそうです。詳細を読むために掘り下げて、Grokが完全に理解できなかった一つの課題を見つけてください。

Xが最初にチャットボットを発表したとき、それは有料の壁の後ろにありました。しかし、TANSTAAFLにもかかわらず、Xは最近Grokを世界に公開しました。そこで、私はそれにプログラミングテストを投げてみることにしました。

私は名前のせいでGrokに少し興味を持っていました。Grokは私のお気に入りのSF作家の一人であるロバート・ハインラインによって作られました。若い頃の私の脳をひねったのはハインラインのおかげです。

私の両親は、彼らが健全で健康的だと考えるものに基づいて、私がアクセスできるメディアを厳しく制御していました。しかし、彼らは私に地元の図書館で見つけられる限られたサイエンスフィクションを自由に読むことを許可しました。なぜなら、科学という言葉は教育的でなければならないからです。

ハインラインについてあまり詳しく語らずに言うと、彼は社会的規範に関して非常にオープンな考えを持っていました。彼は力強い物語を書き、彼の物語には素晴らしい科学関連のテーマが含まれ、しばしば彼の本に深い社会的コメントを盛り込みました。

彼はまた、「グロック」という言葉を多くの広い意味を持つ火星の言葉として作り出しました。最初に異邦人の異邦人に登場し、「私は理解する」という意味として解釈でき、その理解は深く根本的なレベルで存在します。そのため、AIチャットボットにとって完璧な名前です。

除いて…

GrokにどのLLM（大規模言語モデル）を使用しているか尋ねたところ、彼は『銀河ヒッチハイカーガイド』の機知と反抗心に触発されたとも教えてくれました。『銀河ヒッチハイカーガイド』には機知と反抗心がありますが、「grok」という言葉は含まれていません。

それでは、私のプログラミングテストに飛び込んでみましょう。

1. WordPressプラグインの作成

これは、AIがPHPプログラミングを知り、WordPressプラグインを構築する必要があるコーディングテストです。実際には、妻からの実際のリクエストから生まれたもので、名前をランダム化して並べ替えるツールが必要でしたが、ひとひねりがあります。

彼女は毎月、彼女のeコマースサイトでランダムに名前を選ぶ参加デバイスを運営しています。問題は、彼女のユーザーの中には複数のプロジェクトを提出すると複数のエントリーを得る人がいることです。したがって、ランダム化装置は複数の名前を管理しなければならず、結果において隣り合わないようにそれらを分ける必要があります。

最後に、コードは彼女が名前を単純に貼り付け、ボタンをクリックし、リストを取り出すことができるように、良好で明確なユーザーインターフェースを提供する必要がありました。

私はこの課題をGrokに与え、成功しました。インターフェースはきれいにレイアウトされ、機能的でした。そして最も重要なことは、コードがすべきことを実行し、名前を成功裏にランダム化して分離したことです。このテストは成功と評価します。

2. 文字列関数の書き換え

私の二回目のテストは、ユーザーから最初に報告された問題を解決します。私が公開したコードは、ユーザーが入力した数字が有効なドルとセントの通貨であるかをテストするために設計されていました。私の誤りは、コードが整数のみを許可していたため、5ドルの寄付はできましたが、5.25ドルの寄付はできなかったことです。

Grokは正規表現コードを成功裏に書き換えました。勝利に非常に近いですが、生成されるコードが有効な通貨額である.5のような数字を許可しないため、失敗を与えなければなりません。0.5は許可されていますが、すべてのユーザーがセントの値にゼロを前置きするわけではありません。

それはまた、二重変換を行うためにかなり非効率的なメカニズムを使用しており、数値に変換できない文字列を適切に処理しません。

これまでのところ、私たちは1勝1敗です。

3. うざいバグを見つける

第三のテストは、WordPressフレームワークとAPIの知識を必要とします。なぜなら、私がAIに見つけてもらおうとしているバグは、WordPress APIの要件の誤解から生じる微妙なものであるからです。

私がテストしたいくつかのLLMは問題を間違えました（デバッグしようとしたときに私も数時間間違えました）。しかし、Grokは問題を理解し、機能的に正しく有用な答えを提供しました。

これにより、2勝1敗となり、Grokは以前にテストされた他のほぼ半数のLLMを上回りました。最後の4回目のテストでどのような結果になるか見てみましょう。

4. スクリプトを書く

これは厳しいテストです。なぜなら、AIがMac用の比較的低ボリュームの縦型スクリプトツールであるKeyboard Maestroを認識する必要があるからです。また、AIがKeyboard Maestro、Chrome、AppleScriptの3つの異なる環境のために同時にコードを書くことができる必要があります。

これまでのところ、Google GeminiとGPT-4以上のLLMを実行しているChatGPTのみがこのテストに合格しています。ChatGPT 3.5でさえ失敗しました。

しかし、私たちはこのレベルのコーディングチャレンジを処理できる新しいAI、Grokを持っています。これにより、Grokは4回中3回の勝利を収め、ChatGPT LLMに基づかない他のすべてのAIよりも優位に立っています。

最後の考え

全体的に見て、Grokは自分の力を発揮しました。もし先頭にゼロのない通貨の値を許可していれば、完璧なスコアを得ていたでしょう。Twitterに代わってXでのすべての変更についてどう感じているかはわかりませんが、少なくともプログラミングの腕前に関しては、Grokはかなり手強いチャットボットのようです。