Google、ローカライズされた大規模言語モデルを構築する共同作業に参加
Google Research は AI Singapore と協力して、東南アジア言語向けの生成 AI モデルのトレーニングと微調整を行います。
Google は、東南アジアの人口と文化の組み合わせにより適切に対応する大規模言語モデル (LLM) を構築するための共同作業に参加しています。
その研究部門はAIシンガポールと協力して、地域特有の言語でAIモデルをトレーニング、微調整、評価するために使用されるデータセットを強化します。 AIシンガポールは月曜の声明で、プロジェクト東南アジア言語をワンネットワークデータ(SEALD)と名付けたこの取り組みは、この地域向けに構築されたLLMにおける「文化的背景の認識を向上させる」ことを目的としていると述べた。
同政府機関は、この協力はまずインドネシア語、タイ語、タミル語、フィリピン語、ビルマ語に焦点を当て、両パートナーが共同でトランスローカリゼーションおよび翻訳モデルを開発すると付け加えた。また、トランスローカリゼーション機能の拡張に役立つツールや、データセットを調整するためのベスト プラクティスも開発します。東南アジア言語向けの事前トレーニング ガイドが発行される予定です。
AIシンガポールは、プロジェクトSEALDからのすべてのデータセットと出力はオープンソースでリリースされると付け加えた。
この取り組みは、シンガポール政府機関が昨年立ち上げたSEA-LION（Southeast Asian Languages in One Network）の下でのモデルのトレーニング活動をさらに支援することになる。
地域の社会的微妙な違いに合わせて事前トレーニングされたオープンソース LLM で構成され、SEA-LION の現在の反復は、30 億パラメーター モデルと 70 億パラメーター モデルの 2 つの基本モデルで実行されます。そのトレーニング データは 9,810 億の言語トークンで構成されています。 AI シンガポールは、これらのトークンを、トークン化中にテキストを分解して作成された単語の断片として定義します。これらの断片には、6,230 億の英語トークン、1,280 億の東南アジアのトークン、910 億の中国のトークンが含まれます。
Project SEALD は現在、英語よりもさまざまな地域の言語でより流暢に会話できるシンガポールの移民労働者とのコミュニケーションを改善するためのユースケースに取り組んでいます。データ収集の取り組みは、このコミュニティ内の独自の言語的特徴を反映し、シンガポール政府と雇用主の間の関与を改善するための基盤を提供します。
Project SEALD からのデータセットと出力は、Google Cloud とシンガポール政府の AI Trailblazer スキームに基づいて開発された生成 AI アプリケーションと統合され、コミュニティへの支援をサポートします。
プロジェクト SEALD パートナーは、データ収集や品質チェックなどの分野で、学界や公共部門を含む産業界とも協力します。これらの取り組みには、東南アジア諸国の学術界と協力して、地域全体で生成 AI アプリケーションを評価およびベンチマークするための方法論を確立することが含まれます。
AI Singapore はまた、Vertex AI 上の Google Cloud の Model Garden で SEA-LION LLM を利用可能にし、事前検証された AI モデルへのアクセスを提供する予定です。地域の LLM は、主に自然言語処理機能に焦点を当てた AI ツールと事前トレーニング済みモデルのオープンソース リポジトリである Hugging Face に追加されます。
AIシンガポールは月曜日、地域LLM向けのデータセットとアプリケーションを開発するために、インドネシア、マレーシア、ベトナムのさまざまな組織と覚書および意向表明書を締結したことも発表した。
さらに、シンガポールの代理店は、インドネシア、タイ、フィリピンのパートナーと協力して、地域言語の構文と意味論に関するリソースを構築していると述べた。これらには、タイのヴィディアシリメディ科学技術研究所やフィリピンのアテネオ ソーシャル コンピューティング科学研究所が含まれます。
2022 年、Google Research は、773 地区にわたる匿名化された音声データを収集し、国の多様な人口を代表する LLM を構築することを目的としたプロジェクト Vaani に取り組むインド科学研究所との提携を発表しました。
先週、AIシンガポールのAIイノベーション担当ディレクター、ローレンス・リュー氏は、生成AIプレーヤーに対し、自社の製品が世界の多様な人口をより適切に反映できるように、地域およびローカルのデータモデルを組み込むよう呼び掛けた。たとえば、SEA-LIONを統合することで、生成AIツールがより正確な回答を生成できるようになるだろうとリュー氏は述べ、最近のアジアの選挙について質問された場合、地域LLMは世界的な公共プラットフォームと比較してより正確な予測を生成したと指摘した。
同氏は、現在公開されているほとんどの生成 AI ツールは非アジア諸国に焦点を当てており、固有のデータ バイアスがある可能性があると付け加えました。 SEA-LIONのようなLLMはより「文化的に敏感」であり、そのためAIが生成する生成的な反応がその地域の社会的混合をよりよく反映するようになるだろうと同氏は述べた。