Google の DataGemma は RAG を使用した初の大規模 Gen AI - それが重要な理由

Google の Data Commons は、生成 AI に利用すべき情報を提供するための基盤として機能します。

検索拡張生成 (略して RAG) として知られる、人気が高まっている生成型人工知能技術は、企業のペット プロジェクトでしたが、今では AI の主要な段階に来ています。

Google は先週、Google のオープンソース大規模言語モデル (LLM) である Gemma と公開データ用の Data Commons プロジェクトを組み合わせた DataGemma を発表しました。 DataGemma は、クエリ プロンプトに応答する前に、RAG アプローチを使用してデータを取得します。

その前提は、「LLM の事実性と推論を強化するためにデータ コモンズの知識を利用することによって」「幻覚」を防ぐために生成 AI を確立することである、と Google は述べています。

RAG は、企業が独自の企業データに LLM を統合できるようにするための一般的なアプローチになりつつありますが、Data Commons の使用は、クラウドベースの Gen AI の規模での RAG のこれまでで初の実装となります。

Data Commons は、公開されているデータベースを構築できるオープンソースの開発フレームワークです。また、データを一般に公開している国連などの機関から実際のデータも収集します。

Google は、この 2 つを結び付ける際に、「2 つの異なるアプローチ」を採用していると述べています。

1 つ目のアプローチは、データ コモンズの公開されている統計データを使用して、「世界で再生可能エネルギーの使用は増加していますか?」など、プロンプトに入力された特定の質問を事実確認することです。 Google の Gemma は、特定の統計を引用した主張でプロンプトに応答します。 Google ではこれを「検索インターリーブ生成」 (RIG) と呼んでいます。

2 番目のアプローチでは、完全な RAG を使用してデータのソースを引用し、「より包括的で有益な出力が可能になります」と Google は述べています。 Gemma AI モデルは、Google のクローズドソース モデルである Gemini 1.5 の「ロングコンテキスト ウィンドウ」を利用しています。コンテキスト ウィンドウは、AI モデルが動作するために一時メモリに保存できるトークン (通常は単語) での入力量を表します。

Gemini は、128,000 トークンのコンテキスト ウィンドウで Gemini 1.5 を宣伝していますが、そのバージョンでは入力から 100 万ものトークンを処理できます。コンテキスト ウィンドウが大きいということは、Data Commons から取得したより多くのデータをメモリに保持し、クエリ プロンプトへの応答を準備するときにモデルで精査できることを意味します。

「DataGemma は、モデルが応答生成を開始する前に、Data Commons から関連するコンテキスト情報を取得します。これにより、幻覚のリスクが最小限に抑えられ、応答の精度が向上します。」と Google は述べています。

研究はまだ発展途上です。詳細については、Google 研究者の Prashanth Radhakrishnan 氏らによる正式な研究論文で詳しく調べることができます。

Googleは、DataGemmaがGemmaとGoogleのクローズドソースモデルであるGeminiで一般公開される前に、さらにテストと開発を行う必要があると述べている。

すでにGoogle、RIG、RAGは、「研究、意思決定、または単に好奇心を満たすためのユースケースでユーザーが経験する幻覚が少なくなる」など、出力の品質の向上につながっていると主張している。

DataGemma は、Google や他の有力な AI 企業が LLM を超えた製品をどのように構築しているかを示す最新の例です。

OpenAIは先週、「思考の連鎖」と呼ばれる機械学習技術を使用する2つのモデルとして、社内でコードネーム「Strawberry」と名付けられたプロジェクトを発表した。AIモデルは、特定の予測に含まれる要素をステートメントで詳しく説明するよう指示されている。作ること。