新しい研究イニシアチブは、東南アジア向けの大規模言語 AI モデルの構築を目的としています
シンガポールは、西側諸国とは異なる大規模な言語モデルを開発する取り組みに 5,200 万ドルを投資しています。
東南アジア諸国の人口動態によりよく適合する大規模言語モデル (LLM) を構築するための新しい研究イニシアチブが進行中です。
「National Multimodal LLM Programme」と呼ばれるこの取り組みは、地域の文化と言語の多様な混合をサポートする人工知能 (AI) 大規模言語モデルの開発を目的としてシンガポールが主導しています。
情報通信メディア開発庁 (IMDA)、AI シンガポール (AISG)、科学技術研究庁 (A*STAR) の 3 つの政府機関が協力してこの研究プログラムを立ち上げ、7,000 万シンガポールドル相当の資金を提供しました ( 5,248万ドル）を国立研究財団から寄付。
「テクノロジーが急速に進化する中、LLMの主権機能を開発する戦略的必要性がある」と両機関は共同声明で述べた。 「シンガポールとその地域の地方の文化、価値観、規範は、ほとんどの大規模な言語モデルの起源である西側諸国とは異なります。」
彼らは、シンガポールを含む東南アジア向けに、この地域の多様な文化と言語に関連する背景と価値観を理解する、マルチモーダルでローカライズされたLLMを開発することの重要性を強調しました。これらの変動には、たとえば、シンガポールの多言語人口における言語間のコンテキストの切り替えが含まれる場合があります。
この研究イニシアチブでは、シンガポール国立スーパーコンピューティング センターの高性能コンピューティング リソースを活用し、マルチモーダル LLM における国の研究およびエンジニアリング能力の開発を目指します。
IMDAのビズテックグループ副最高責任者であるオン・チェン・ホイ氏は、「この国家的な取り組みは、世界的なAIハブになるというシンガポールの取り組みを強調するものである」と述べた。 「言語はコラボレーションを可能にする重要な要素です。人材に投資し、地域の言語に対応した大規模な言語 AI モデルに投資することで、国境を越えた業界のコラボレーションを促進し、東南アジアにおける AI イノベーションの次の波を推進したいと考えています。」
この取り組みは、AISG の東南アジア言語インワンネットワーク (SEA-LION) の現在の取り組みに基づいて行われます。SEA-LION はオープンソースの LLM であり、政府機関によると、今日の市場にある LLM と比較して、より小型、柔軟、より高速になるように設計されています。 。 SEA-LION は現在、30 億パラメータ モデルと 70 億パラメータ モデルの 2 つの基本モデルで実行されています。
AISGは、オープンソースモデルの重要性について詳しく述べ、「既存のLLMは、文化的価値観、政治的信念、社会的態度の点で強い偏りを示している。これは、トレーニングデータ、特にインターネットから収集したデータが原因である。 「WEIRD ベースの出身者が不釣り合いに多い。WEIRD とは、西洋、教育、工業化、豊かな、民主的な社会を指します。WEIRD 以外の出身の人々は、読み書きができず、インターネットを使用せず、その出力に簡単にアクセスできる可能性が低いです。」
SEA-LION は、「非奇妙な」集団をより適切に代表する LLM を確立することを目指しています。そのトレーニング データは 9,810 億の言語トークンで構成されており、AISG はこれを、トークン化プロセス中にテキストを分解して作成された単語の断片と定義しています。これらの断片には、6,230 億の英語トークン、1,280 億の東南アジアのトークン、910 億の中国のトークンが含まれます。
ローカライズされた LLM を構築する取り組みは、2030 年までに AI ソリューションの世界的な開発ハブになるという目標を推進しようとするシンガポールの最新の AI 戦略の一部です。これらの取り組みには、国内の AI 専門家の数を今後 3 倍の 15,000 人に増やす計画が含まれています。 3 年から 5 年かけて、AI の倫理と安全性のガイドラインとともに、ガバナンス、テスト、ベンチマークをサポートするエコシステムを提供します。
シンガポールのローレンス・ウォン副首相は、最近の AI の発展により世界が未知の領域に進もうとしていることを指摘し、国家 AI 戦略の発表で次のように述べました。「これまでの AI は主にパターン認識に関するものでした。しかし、やがて、 「私たちは、代理店と取引能力を備えた AI システムを手に入れるでしょう。人間のような認知能力と、自己認識と独立した意思決定の能力を備えたマシンを手に入れるでしょう。」
人間の生活を大きく変え、社会に影響を与える可能性があるため、AI の責任ある開発と導入はより慎重に進められるべきだとウォン氏は述べた。