IBM、東南アジアのLLMをテストし、ローカリゼーションの取り組みを促進

Big Blue と AI Singapore の提携により、SEA-LION 大規模言語モデルがテストされ、IBM の AI プラットフォームで利用できるようになります。

IBMは、AIシンガポール（AISG）の東南アジア大規模言語モデル（LLM）をテストし、開発者がカスタマイズされた人工知能（AI）アプリケーションを構築できるようにする契約をAIシンガポール（AISG）と締結した。

この提携に基づき、IBM は Big Blue の AI テクノロジーとデータ プラットフォームである Watsonx を使用して Southeast Asian Languages in One Network (SEA-LION) モデルをテストし、AISG と協力して LLM を微調整します。 IBMとAISGは火曜日の共同声明で、目標は組織がビジネス要件に適したAIモデルを選択できるようにすることだと述べた。

IBMはまた、Digital Self-Serve Co-Create Experience (DSCE)と呼ばれる自社のAIユースケース・ライブラリーでもSEA-LIONを利用できるようにし、開発者やデータ・サイエンティストがローカライズされた生成AI (GenAI)アプリケーションを構築できるようにする予定だ。

AISG が開発したオープンソース LLM である SEA-LION は、AISG によると、他の LLM よりも小さく、より柔軟で、高速になるように設計されています。現在の反復は、30 億パラメータ モデルと 70 億パラメータ モデルの 2 つの基本モデルで実行されます。 LLM のトレーニング データは 9,810 億の言語トークンで構成されており、AISG はこれを、トークン化プロセス中にテキストを分解して作成された単語の断片と定義しています。これらの断片には、6,230 億の英語トークン、1,280 億の東南アジアのトークン、910 億の中国のトークンが含まれます。

SEA-LION により、シンガポールは東南アジアの社会的混合をより適切に反映し、地域の文化と言語についてより強力な文脈上の理解を示す LLM の開発を推進することを目指しています。

AISGのAI製品担当シニアディレクター、レスリー・テオ氏によると、この提携は東南アジア向けに東南アジア人によって作られた「カスタムメイドの基盤モデル」を推進することを目的としているという。テオ氏は、両組織はユースケースを構築し、SEA-LIONの導入を促進し、組織が「安全かつ責任を持ってAIを拡張できる」よう支援することにも努めると述べた。

この提携には、AI ガバナンスを SEA-LION に組み込む取り組みが含まれており、AI に関する政府の規制が進化し続ける中でも、企業はコンプライアンス、リスク管理、モデルのライフサイクル管理をより適切に対応できるようになります。

「[IBM]はGenAIのさらなる進歩により、より小さな言語モデルでより優れたパフォーマンスがもたらされ、ユーザーにはビジネスや業界の要件に基づいてモデルをパーソナライズする機会が与えられると信じています」とIBM Aseanのゼネラルマネージャー兼テクノロジーリーダーのキャサリン・リアン氏は声明で述べた。 。

「企業にとって万能のモデルは存在せず、組織はニーズに応じてモデルを使用する選択肢を与えられる必要がある」とリアン氏は述べた。 「SEA-LION LLM は、オープン AI システムを構築し、企業や政府が AI を扱う際に直面する ASEAN 言語の課題に対処する上で大きな前進です。」

AISGは3月、東南アジア特有の言語でAIモデルをトレーニング、微調整、評価するために使用されるデータセットを強化するため、Googleとの提携も発表した。 「プロジェクト東南アジア言語を 1 つのネットワーク データで」と呼ばれるこの取り組みは、この地域向けに構築された LLM における「文化的背景の認識を向上させる」ことを目的としています。

プロジェクトは当初、インドネシア語、タイ語、タミル語、フィリピン語、ビルマ語に焦点を当て、AISG と Google がトランスローカリゼーションおよび翻訳モデルを開発します。また、トランスローカリゼーション機能の拡張に役立つツールを構築し、データセットを調整するためのベスト プラクティスを共有し、東南アジア言語の事前トレーニング ガイドを公開する予定です。