Web の閲覧に Copilot AI Vision を使用しましたが、これには大きな可能性があります

インターネット上の情報を見つけるのに役立つ AI アシスタントを本当に必要とする人がいるでしょうか?それは何を見つけようとしているかによって異なります。

数十年前、何か情報が知りたければ、図書館に行って本を開いたものでした。 Web と検索エンジンの出現により状況は変わりました。現在では、検索クエリを入力するだけで、必要なすべての情報が得られます。

それは十分に簡単ではなかったかのように、人工知能 (AI) の登場により、情報収集がさらに自由に行えるようになりました。

今月初め、Microsoft は Copilot Vision を開始しました。これは、ユーザーがオンラインで行っていることのコンテキストを Copilot が表示して理解し、口頭でリアルタイムのサポートを提供できるエクスペリエンスです。アイデアは、ブラウジング中にフィードバックやアドバイスが必要なときに、ライブアシスタントを利用して助けを求めることができるということです。

このエクスペリエンスは Microsoft Edge に組み込まれており、Copilot Labs を通じて月額 20 ドルのサブスクリプションを利用して、一部の Copilot Pro サブスクリプション グループと米国の Copilot Pro サブスクライバを対象にプレビューで利用できます。ウィンドウズ。早期アクセスを取得してテストしてみました。 Copilot Vision にアクセスするにはサブスクリプションの価値がありますか?これが私の経験です。

すべてを理解して把握するアシスタント

理論的には、Web 検索は非常に自明のことなので、ヘルプを受けるのは不必要に思えるかもしれません。しかし、オンボーディング デモを体験してみると、アプリケーションが本当に役立つように思えたので、とても興奮しました。

ユースケースの例としては、画面上に複数の写真を表示し、Copilot Vision にそれらの写真の分類を手伝ってもらうことが含まれます。ある例では、さまざまな犬種の写真がたくさんあり、副操縦士のビジョンにそれらについて口頭で詳しく教えてほしいと頼まれたことがありました。アシスタントは各写真を確認し、画面に文字がないにもかかわらず、それぞれの品種について詳しく教えてくれました。

別の例では、画面上にさまざまな都市の写真が表示され、これもテキストはなく、どれが最も古いかを尋ねるように促されました。 Copilot Vision は各都市を特定し、どこが最も古いのか、そしてその理由を説明しました。

私のお気に入りの例では、私が質問すると、AI ツールがサンプル記事を取得して要約してくれました。これは、特に特定の事柄に関する情報を探していて、必要な情報が含まれているかどうかを自分でざっと確認したくない場合に、強力な研究ツールであることがわかります。さて、理論的には、ただ尋ねることができます。

どのデモでも、Copilot Vision の私を理解する能力は非常に印象的でした。私がどれだけ早く話しても、つぶやいても理解してもらえました。これは、エクスペリエンスがスムーズで直感的なものになったので、大きなプラスでした。しかし、自分の Web サイトでそれを使い始める段階になって、実際のアプリケーションを調べているときに少しがっかりしました。

限界

現時点では、Copilot Vision がアクセスできるサイトは、Wikipedia、Tripadvisor、Amazon、Target、OpenTable、Wayfair、Food & Wine、Williams Sonoma、Geoguessr などの限られた数のサイトです。

その大部分はショッピング ウェブサイトですが、私の経験では、オンライン ショッピングを行う際に発生する有意義な支援はあまりありません。ショッピング サイトをナビゲートしたり、セールなどの特定のセクションに誘導したり、どのタブをクリックしてどのセクションに移動すればよいかを把握したりすることが私に役立ちました。

たとえば、Amazon で、母がクリスマスに何か買うものを探すのを手伝ってもらえないかと尋ねると、母が興味を持ちそうな商品を見つけるためにサイトのどのタブをクリックすればよいかを提案してくれました。サイトのタブは自分で見ることができたので、Vision の部分は特に役に立ちませんでした。次に、本やセーターなどの一般的な商品を提案してくれました。

ランダムなタブをクリックすると、表示された選択肢の中から彼女への最高の贈り物が何かについてのフィードバックを求めました。画面上の最初の項目が選択され、この場合は Amazon Fire HD タブレットが選ばれ、その明白で主要な使用例がリストされていますが、これもあまり役に立ちませんでした。

利用可能な 3 つのコンテンツ サイト (Wikipedia、トリップアドバイザー、フード & ワイン) では、Copilot Vision が記事の内容を要約できるため、より有望であることが示されました。これは、労働者や学生などにとって大きな生産性の向上と思われます。

Food & Wine では、最もトレンドの記事が表示される、より伝統的なホームページを持っていますが、AI は、私が見ていたものの概要を示し、トップ記事やその他の注目の記事を簡単に説明するのにも役立ちました。

ただし、サードパーティのエントリがあるため、私は調査に Wikipedia を使用しません。また、他の 2 つのサイトは非常にニッチな分野に焦点を当てているため、Copilot Vision をすでに使用している場合を除き、Copilot Vision がどれほど役立つかわかりません。これらのサイトの 1 つ。

最後の 2 つは、OpenTable と GeoGuessr という、よりユニークなユースケースに対応します。 OpenTable (レストランの検索や予約に使用されるサイト) では、これもあまり役に立ちませんでした。なぜなら、これも、見ているものを支援することしかできないからです。たとえば、その夜のメキシコ料理レストランのおすすめを尋ねると、すでに表示されているものを単純に教えてくれます。

GeoGuessr の探索では、すべての答えを知っているアシスタントとして Copilot Vision が最も役に立ちました。チームに知識豊富なパートナーがいるのと同じように、AI は役立つヒントをいくつか提供してくれました。これはある意味、不正行為です。

セキュリティ上の懸念

当然のことながら、AI モデルが画面を見ていると、AI モデルがデータを見ているのではないかという懸念が生じます。これらに対処するために、Microsoft は人々の最も切実な質問に答える強力な Q+A を用意しています。

まず同社は、Copilot Vision はアクティブな Vision セッション内でのみ Edge ウィンドウを表示し、アクティブなセッション中であることを示す色合いのブラウザ フレームで指定されることをユーザーに安心させます。これは、Copilot+ PC のユーザーがオプトインしているときに常にバックグラウンドでユーザーの画面のスナップショットを取得する機能である Recall との主な差別化点であり、多くの論争を巻き起こしています。

同社によれば、Copilot の応答は安全でないインタラクションを監視するためにのみ記録され、テキスト、画像、コンテキストなどのユーザー入力は決して保存されません。さらに、ユーザーの入力データはセッションが終了すると削除されます。

それだけの価値はありますか?

現時点では、特にアクセスが保証されていないため、Copilot Vision のためだけに Copilot Pro を入手する価値はありません。ただし、月額 20 ドルのサブスクリプションを利用すると、ユーザーは最新モデルへの優先アクセスや、一部の Microsoft 365 アプリの Copilot など、他の特典にもアクセスできるようになります。 Word、Excel、PowerPoint、OneNote、Outlook。これは、すでに Copilot パワー ユーザーであり、これらの他の特典の恩恵を受ける可能性がある場合に、いじってみると楽しいボーナスになります。