メタ AI はコーディングできるか? Llama、Gemini、ChatGPT に対してテストしましたが、それに近いものではありませんでした
私は一連の単純なコーディング テストを Meta AI に対して実行しました。その結果、時間をかけてプログラミングする価値のある AI チャットボットは実際には 1 つしかないことが証明されました。
AI ツールはどの程度うまくコードを書けるのでしょうか?過去 1 年ほどにわたって、私は大規模な言語モデルに一連のテストを実施して、かなり基本的なプログラミングの課題をそれらがどの程度うまく処理できるかを確認してきました。
考え方はシンプルです。これらの基本的な課題に対処できないのであれば、より複雑なことを要求する価値はおそらくないでしょう。一方、これらの基本的な課題に対処できれば、時間を節約したいと考えているプログラマーにとって役立つアシスタントになる可能性があります。
このベンチマークを設定するために、私は 3 つのテストを使用しました (そして 4 つ目のテストを追加しました)。彼らです：
- WordPress プラグインの作成:これは、WordPress 内で PHP プログラミング言語を使用した基本的な Web 開発をテストします。また、ユーザー インターフェイスの構築も少し必要になります。 AI チャットボットがこのテストに合格すると、Web 開発者のアシスタントとして基本的なコードの作成に役立ちます。私はもともとこのテストを「必要な WordPress プラグインを書くように ChatGPT に依頼しました。5 分以内に完了しました。」で文書化しました。
- 文字列関数の書き換え: このテストでは、AI チャットボットが機能を向上させるためにユーティリティ関数をどのように更新するかを評価します。 AI チャットボットがこのテストに合格すれば、プログラマー向けのツールの作成に役立つ可能性があります。それが失敗しても、プログラミングの学生 1 年生はおそらくもっと良い仕事ができるでしょう。私はもともとこのテストを「OK、だから ChatGPT は私のコードをデバッグしただけです。実際に」で文書化しました。
- 迷惑なバグを見つける: 明らかな答えが間違っているため、このテストでは WordPress がどのように動作するかについての深い知識が必要です。 AI チャットボットがこれに正しく答えることができれば、WordPress のようなフレームワークを使用していても、そのナレッジ ベースはかなり完全になります。私はもともとこのテストを「OK、だから ChatGPT は私のコードをデバッグしただけです。実際に」で文書化しました。
- スクリプトの作成: このテストでは、AI チャットボットに、多くのユーザーには知られていない 2 つのかなり特殊なプログラミング ツールを使用してプログラミングを依頼します。これは基本的に、主要な言語を超えた AI チャットボットの知識をテストします。私はもともとこのテストについて「Google が Gemini Code Assist を発表、私はそれがプログラマを助けるだろうと慎重ながらも楽観的だ」で説明しました。
各テストについて説明し、その結果を私がテストした他の AI チャットボットの結果と比較します。そうすることで、コーディングのパフォーマンスに関して AI チャットボットがどのように異なるかをより適切に評価できるようになります。
今回は、Meta の新しい Meta AI をテストします。始めましょう。
1. WordPress プラグインの作成
以下は、左側の Meta AI によって生成されたインターフェイスと、右側の ChatGPT によって生成されたインターフェイスとの比較です。
どちらの AI チャットボットも必要なフィールドを生成しましたが、ChatGPT のプレゼンテーションはよりわかりやすく、各フィールドの見出しが含まれていました。 ChatGPT では、機能を考慮すると、より適切な場所に Randomize ボタンも配置されました。
操作の面では、ChatGPT は一連の名前を受け取り、予想どおりランダム化された結果を生成しました。残念なことに、メタ AI は一連の名前を受け取り、何かを点滅させた後、白い画面を表示しました。これは WordPress の世界では一般的に「死の白い画面」と呼ばれています。
今回と前回のテストの集計結果は次のとおりです。
- メタ AI: インターフェース: 適切、機能: 失敗
- メタ コード ラマ: 完全に失敗しました
- Google Gemini Advanced: インターフェース: 良好、機能性: 失敗
- ChatGPT: インターフェース: 良好、機能性: 良好
2. 文字列関数の書き換え
このテストは、ドルとセントの換算をテストするように設計されています。メタ AI には主に 4 つの問題がありました。修正すべきでないのに正しい値に変更すること、複数の小数点を持つ数値を適切にテストしないこと、ドル額の小数点以下の桁数が 2 桁未満の場合は完全に失敗することです (つまり、 $5 または $5.2 を入力として使用すると失敗します)、処理が完了すると正しい数値の形式が間違っていたために拒否されました。
これはかなり単純な課題であり、コンピュータ サイエンスの 1 年生のほとんどが完了できるはずです。特に Meta の Code Llama が同じテストで成功したため、Meta AI が失敗したのは残念です。
今回と前回のテストの集計結果は次のとおりです。
- メタ AI: 失敗しました
- メタ コード ラマ: 成功しました
- Google Gemini Advanced: 失敗しました
- ChatGPT: 成功しました
3. 迷惑なバグを見つける
これはプログラミングの課題ではありません。このテストでは、エラー データおよび問題の説明とともに、既存のコードの一部が取り込まれます。次に、AI チャットボットにコードの問題点を特定し、修正を推奨するように依頼します。
ここでの課題は、明らかな答えがあり、それが間違っているということです。この問題を解決するには、WordPress API がどのように機能するかについての深い知識と、作成されているプログラムのさまざまなコンポーネント間の相互作用を理解する必要があります。
メタ AI はこれを見事にパスしました。エラーを正確に特定しただけでなく、必要ではないものの、コードの効率を向上させる提案も行いました。
単純な文字列関数の書き換えで惨めに失敗した後、私は Meta AI がさらに難しい問題で成功するとは予想していませんでした。これは、AI チャットボットの応答が必ずしも一貫しているわけではないことを示しています。
今回と前回のテストの集計結果は次のとおりです。
- メタ AI: 成功しました
- メタ コード ラマ: 失敗しました
- Google Gemini Advanced: 失敗しました
- ChatGPT: 成功しました
4. スクリプトを書く
このテストでは、MacOS スクリプト ツール Keyboard Maestro、Apple のスクリプト言語 AppleScript、および Chrome スクリプト動作に関するコーディングの知識が必要です。
Keyboard Maestro は驚くほど強力なツールですが (私が主な作業マシンとして Mac を使用している理由の 1 つです)、オーストラリアの孤独なプログラマーによって書かれたかなり知られていない製品でもあります。 AI チャットボットがこのツールを使用してコーディングできる場合は、さまざまな言語にわたる適切なコーディング知識がある可能性があります。 AppleScript は Apple の MacOS スクリプト言語ですが、かなり不明瞭でもあります。
Meta AI と Meta's Code Llama はどちらもまったく同じように失敗しました。指示どおりに Keyboard Maestro からデータを取得しませんでした。どちらもこのツールについてはまったく知らなかったようです。対照的に、Gemini と ChatGPT は両方とも、それが別のツールであることを認識しており、データを正しく取得しました。
今回と前回のテストの集計結果は次のとおりです。
- メタ AI: 失敗しました
- メタ コード ラマ: 失敗しました
- Google Gemini Advanced: 成功しました
- ChatGPT: 成功しました
全体的な結果
4 つのテストの全体的な結果は次のとおりです。
- メタ AI: 4 件中 1 件が成功
- メタ コード ラマ: 4 件中 1 件が成功しました
- Google Gemini Advanced: 4 人中 1 人が成功しました
- ChatGPT: 4 件中 4 件が成功しました
私は約 6 か月間、ChatGPT を使用してプロジェクトのコーディングを支援してきました。ここでの結果では、別の AI チャットボットに切り替えることを納得させるものは何もありませんでした。実際、これらの AI チャットボットのいずれかを使用すると、作業を完了するよりもエラーの確認や発見に多くの時間を費やしてしまうのではないかと心配になります。
他の大きな言語モデルにはがっかりしています。私のテストによると、少なくとも今のところ、ChatGPT は依然として議論の余地のないコーディングチャンピオンです。
Meta AI、Gemini、または ChatGPT を使用してコーディングを試したことがありますか?あなたの経験は何でしたか？以下のコメント欄でお知らせください。
ソーシャルメディアで私の日々のプロジェクトの最新情報をフォローしてください。毎週更新されるニュースレターを必ず購読し、Twitter/X (@DavidGewirtz)、Facebook (Facebook.com/DavidGewirtz)、Instagram (Instagram.com/DavidGewirtz)、YouTube (YouTube.com/DavidGewirtzTV) をフォローしてください。