Apple の AI の祭典では 2 つの重要な進歩が省略されました - おそらく次回?

WWDC では、多くの「Apple Intelligence」が見られました。オンデバイス トレーニングは、最も明らかな省略の 1 つでした。

月曜日に発表された、Mac、iPhone、iPad における AI に関する Apple の包括的な戦略には、遍在する頭字語を巧みに再ブランド化した「Apple Intelligence」というルーブリックの下に、数多くの興味深い機能が含まれていました。

ZDNET の Sabrina Ortiz が詳しく解説しており、Apple ソフトウェアがデバイス エクスペリエンスを向上させる多くの方法や、OpenAI の ChatGPT の利用も含まれています。プライベート クラウド コンピューティングでは、セキュリティとプライバシーに関しても大きな取り組みが行われました。

ただし、明らかな欠落の 1 つは、いわゆる「オンデバイス」トレーニングが欠如していることです。

AI モデル (GPT-4o や Gemini などのニューラル ネットワークのグループ) は、トレーニングとして知られるラボの初期段階で開発されます。ニューラル ネットワークには多数の成功例が与えられ、最適な答えが得られるまで結果が微調整されます。そのトレーニングは、推論として知られるニューラル ネットワークの質問応答の基礎になります。

Apple は、どのような Gen AI を使用しているかについて技術的な詳細を明らかにしていませんが、説明によれば、オンボード機能 (iPhone、iPad、Mac の機能) にはニューラル ネットワークのトレーニングが含まれていないことが示唆されています。これは Apple が独自の研究を提供してきた分野です。

その代わりに提供されているのは、単に「検索拡張生成」 (RAG) の一種であるように見えます。RAG では、データベースを利用することによるパフォーマンス推論 (予測の作成) への動きが拡大しています。 Apple は、ユーザーの個人データを認識するこのアプローチを「セマンティック インデックス」と呼んでいます。

これは決して小さなことではありません。オンボードの個人データで Gen AI を強化すること自体、クラウドではなく「エッジ」での推論にとって非常に大きな成果です。

しかし、それは船上訓練とは異なります。これまでの Apple の最も興味深い研究成果 (少なくとも、公表されているもの) は、クライアント デバイス自体でトレーニングを実施することです。

人の常に更新されるデバイス データでニューラル ネットワークをトレーニングしたら、何ができるでしょうか?

簡単な例としては、ニューラル ネットに画像の内容に関するより多くのコンテキストを与えることで、画像の分類を強化することが挙げられます。これはあなたが見ている写真の「猫」ではありませんが、 あなたが撮影した他の多くの猫と同様にあなたの猫が、あなたのインスタントアルバムとしてあなたに提示されます。 > 猫、今日 Apple がポートレート内の顔を認識するときに行っていることと似ています。

アート ギャラリーを歩いていて、絵画の写真を撮ると、携帯電話がそのアーティストと先月美術館で撮った何かとのつながりを思い出すかもしれません。

ニューラル ネットのトレーニングには多くのクライアント デバイスが保有する以上のコンピューティング能力が必要であることを考えると、Apple はプライベート クラウド コンピューティングを介してクラウドでニューラル ネットの再トレーニングを行っている可能性があります。

ZDNETは今年初めに、2024年はAIが「手のひらの上で」学習する年になる可能性があると指摘したが、月曜日のイベントでは、デバイス上でのトレーニングが可能になるまでにiPhoneがあと数世代かかる可能性があることを示唆している。

もう一つ明らかな欠落がありました。Apple の発表は主にデバイス上にすでに存在するデータを扱っており、デバイスのセンサー、特にカメラを活用して周囲の世界を強化することについては扱っていませんでした。

たとえば、Apple は Gen AI を AI コンパニオンとしてカメラの使用方法に適用することができます。たとえば、多重露出の「ライブ」写真を撮影するときにユーザーが最適なフレームを選択するのをアシスタントに支援させることができます。さらに良いことに、「この構図のどこが悪いのか教えてください」は、一部の人がリアルタイムで、つまりシャッター ボタンを押す前に望んでいるかもしれない、ダミー用の写真撮影のアドバイスです。

代わりに、Apple はポストプロダクション向けにいくつかの控えめな AI 機能強化を披露しました。たとえば、撮影済みの写真を後から背景オブジェクトを削除して修正するなどです。これは、カメラの使用中にサポートしてくれるライブ カメラ エージェントとは異なります。

おそらくAppleは、オンデバイストレーニングとセンサーへのGen AIの適用の両方をいつか実現することになるだろう。どちらのアプローチも、Apple によるハードウェアとソフトウェアの統合制御を目的としています。