ウェブサイト検索

Perplexity Pro の AI は私のコーディング テストで完全に合格しました - しかし、落とし穴があります

Perplexity Pro にはサブスクリプション料金を支払う価値がありますか?使用目的にもよるかもしれませんが、プログラミングに役立つはずです。その理由は次のとおりです。

数週間前、私は Perplexity.ai チャットボットの無料バージョンに対して、標準的なプログラミング テスト スイートを実行しました。記事の最後で、十分な関心があれば、月額 20 ドルの Pro バージョン に対してテストを実行することを提案しました。いくつかリクエストをいただいたので、ここでやってみます。

他のほとんどのプロ バージョンと同様に、Perplexity Pro を使用するには、アカウントを作成する必要があります。 Google または Apple の認証方法、または SAML サインインを使用してサインインできます。あるいは、電子メール アドレスを使用してアカウントを作成することもできます。私はそうしました。

残念ながら、このサイトにはパスワードや多要素認証を設定する方法はないようです。コードが記載されたメールが送信されるだけです。電子メール コードを取得するのは気にしませんが、少なくともパスワードなしで電子メール コードのみに依存する Web アプリには本当に不安を感じます。しかし、それが Perplexity.AI のやっていることです。

Perplexity Pro のもう 1 つの興味深い点は、AI モデルの宝庫です。下の画像にあるように、作業の種類に応じて、さまざまなモデルの中からお選びいただけます。テストでどうなるかを確認するために [デフォルト] を選択しました。テストを実行した後、Perplexity Pro に使用したモデルを尋ねたところ、ChatGPT GPT-4 であることがわかりました。

それでは、いくつかのテストを実行してみましょう。

1. WordPress プラグインの作成

この課題は、Web プログラミングの経験がある程度ある人にとっては、非常に簡単なプログラミング タスクです。管理ダッシュボードには 2 つのフィールドを持つユーザー インターフェイスが表示されます。1 つはランダム化する名前のリスト、もう 1 つは出力です。

唯一の問題は、名前のリストには重複が存在する可能性があり、その指示では余分な名前を削除するのではなく、重複した名前が互いに分離されていることを確認することです。

これは、妻が電子商取引 Web サイトで使用する必要があった実際のリクエスト機能でした。毎月、ホイールスピンが行われ、複数のエントリーの資格を得る人もいます。

Perplexity Pro のデフォルト モデルを使用して、AI は実行可能なユーザー インターフェイスと機能コードを生成することに成功し、テキスト領域とランダム化ロジックを制御するための PHP ブロックと JavaScript ブロックの両方を提供しました。

今回と前回のテストの集計結果は次のとおりです。

  • Perplexity Pro: インターフェース: 良好、機能性: 良好
  • 複雑さ: インターフェース: 良好、機能性: 良好
  • Claude 3.5 Sonnet: インターフェイス: 良好、機能性: 失敗
  • GPT-4o を使用した ChatGPT: インターフェース: 良好、機能性: 良好
  • Microsoft Copilot: インターフェース: 適切、機能: 失敗
  • メタ AI: インターフェース: 適切、機能: 失敗
  • メタ コード ラマ: 完全に失敗しました
  • Google Gemini Advanced: インターフェース: 良好、機能: 失敗
  • GPT-4 を使用した ChatGPT: インターフェース: 良好、機能性: 良好
  • GPT-3.5 を使用した ChatGPT: インターフェイス: 良好、機能性: 良好

２．文字列関数の書き換え

テストごとに、AI との新しいセッションを開きます。このテストでは、バグのあるコード ブロックを書き直すように AI に依頼しています。このコードは、ドルとセントの入力を検証するように設計されており、小数点の前の特定の桁数、可能な小数点、および小数点の後 2 桁で構成される必要があります。

残念ながら、私が出荷したコードでは整数のみが許可されていました。いくつかのユーザーからの報告を受けて、コードを AI にフィードして書き直すことにしました。私のコードでは、形式を指定する定型的な方法である正規表現を使用しています。正規表現自体は楽しいですが、正規表現のデバッグはそうではありません。

このテストの場合、Perplexity Pro は良い仕事をしました。結果の検証コードは、ドルとセントの形式に適合しない項目に適切にフラグを立て、小数点以下 2 桁までを許可しました。

今回と前回のテストの集計結果は次のとおりです。

  • Perplexity Pro: 成功しました
  • 困惑: 成功しました
  • クロード 3.5 ソネット: 失敗しました
  • GPT-4o を使用した ChatGPT: 成功しました
  • Microsoft Copilot: 失敗しました
  • メタ AI: 失敗しました
  • メタ コード ラマ: 成功しました
  • Google Gemini Advanced: 失敗しました
  • GPT-4 を使用した ChatGPT: 成功しました
  • GPT-3.5 を使用した ChatGPT: 成功しました

3. 迷惑なバグを見つける

このテストで私は数時間戸惑いました。テスト以前に、実際の製品のコードのバグでした。問題は、何がうまくいかなかったとしても、明らかな論理や言語の問題とは関係がないということでした。

ひどくイライラしたので、ChatGPT にコードとエラー ダンプを入力して助けを求めることにしました。幸いなことに、それは私が間違っていたことを見つけて、何を修正すべきかについての指針を与えてくれました。

これを一連のテストに含める理由は、バグが言語やロジックにあったのではなく、WordPress フレームワークの知識にあったからです。 WordPress は人気がありますが、フレームワークの知識は一般に、知識ベースによって厳密に学習されるものではなく、開発者から開発者へと受け継がれるプログラミング環境の民間伝承であると考えられています。

しかし、ChatGPT と Perplexity、そして現在の Perplexity Pro は問題を発見しました。このエラーは、フレームワーク自体に埋め込まれたパラメータ呼び出しの問題が原因でした。コードによって生成されたエラー メッセージを厳密に読めば明らかな答えが思いつくかもしれませんが、実際には間違っていました。

それを解決するには、AI がすべてのシステムがどのように連携して機能するかをより深く理解する必要がありましたが、Perplexity Pro はそれを成功させました。

今回と前回のテストの集計結果は次のとおりです。

  • 困惑: 成功しました
  • Perplexity Pro: 成功しました
  • クロード 3.5 ソネット: 成功しました
  • GPT-4o を使用した ChatGPT: 成功しました
  • Microsoft Copilot: 失敗しました
  • メタ AI: 成功しました
  • メタ コード ラマ: 失敗しました
  • Google Gemini Advanced: 失敗しました
  • GPT-4 を使用した ChatGPT: 成功しました
  • GPT-3.5 を使用した ChatGPT: 成功しました

4. スクリプトを書く

まあ、これは興味深いですね。 Perplexity Pro はこのテストに合格しましたが、数週間前にテストしたときは Perplexity の無料版は失敗しました。それで、やったー！

しかし、これについて少し掘り下げてみましょう。ここでの課題は、Chrome DOM (ドキュメント オブジェクト モデル)、AppleScript (Apple のネイティブ スクリプト言語)、および Keyboard Maestro (かなり知られていない非常にクールな Mac 自動化ツール) の 3 つの環境を横断するスクリプトを書くように AI に依頼することです。私にとってはミッションクリティカルです）。

AI のほとんどは、ナレッジ ベースに Keyboard Maestro に関する情報がなかったため、失敗しました。そのため、スクリプトが私が望んでいることを実行するために必要なコードが提供されませんでした。

これまでこのテストに合格したのは、GPT-4 および GPT-4o を使用する Gemini Advanced と ChatGPT だけでした。質問に答えるために、Perplexity Pro は Pro Search ビューを提供しました。ご覧のとおり、Pro Search ビューでは「Keyboard Maestro AppleScript Google Chrome tabs」を検索しました。また、メインの Keyboard Maestro フォーラムをソースとして使用しました。これは、Keyboard Maestro コーディングのヘルプを得るのに最適な情報源です。

結果は成功でした。

今回と前回のテストの集計結果は次のとおりです。

  • Perplexity Pro: 成功しました
  • 複雑さ: 失敗しました
  • クロード 3.5 ソネット: 失敗しました
  • GPT-4o を使用した ChatGPT: 成功しましたが、予約がありました
  • Microsoft Copilot: 失敗しました
  • メタ AI: 失敗しました
  • メタ コード ラマ: 失敗しました
  • Google Gemini Advanced: 成功しました
  • GPT-4 を使用した ChatGPT: 成功しました
  • GPT-3.5 を使用した ChatGPT: 失敗しました

全体的な結果

4 つのテストの全体的な結果は次のとおりです。

  • Perplexity Pro: 4 件中 4 件が成功しました
  • 困惑: 4 人中 3 人が成功しました
  • クロード 3.5 ソネット: 4 件中 1 件が成功しました
  • GPT-4o を使用した ChatGPT: 4 つ中 4 つが成功しましたが、注意点があります
  • Microsoft Copilot: 4 件中 0 件が成功しました
  • メタ AI: 4 人中 1 人が成功
  • メタ コード ラマ: 4 件中 1 件が成功しました
  • Google Gemini Advanced: 4 人中 1 人が成功しました
  • GPT-4 を使用した ChatGPT: 4 つ中 4 つが成功しました
  • GPT-3.5 を使用した ChatGPT: 4 つ中 3 つが成功しました

ご覧のとおり、Perplexity Pro は、4 つ中 4 つの完璧なスコアが成功したため、ChatGPT と GPT-4 および GPT-4o のみに参加します。テストを実行した後、Perplexity Pro の AI を確認したところ、テストの分析と応答に GPT-4 が使用されていることがわかりました。

GPT-4/4o が、これまでに行った 4 つのテストすべてを成功させた唯一の AI であることを考えると、これは理にかなっています。これまでのところ、4 つのプログラミング テストすべてに完全かつ正確に合格できるモデルは他に見つかりません。

Perplexity Pro を選択すれば、プログラミングをうまくサポートできるはずだと、私はかなり自信を持って言えます。

Perplexity、Copilot、Meta AI、Gemini、または ChatGPT を使用してコーディングを試したことがありますか?あなたの経験は何でしたか？以下のコメント欄でお知らせください。

ソーシャルメディアで私の日々のプロジェクトの最新情報をフォローしてください。毎週更新されるニュースレターを必ず購読し、Twitter/X (@DavidGewirtz)、Facebook (Facebook.com/DavidGewirtz)、Instagram (Instagram.com/DavidGewirtz)、YouTube (YouTube.com/DavidGewirtzTV) をフォローしてください。

関連記事