Cerebras とアブダビの M42 は、医療上の質問に答えることに特化した LLM を作成しました
オープンソースの Med42 ニューラル ネットワークは、700,000 の質問と回答のペアのデータ セットを使用して微調整されました。
医療における人工知能の応用例は数多くあります。しかし、それらは主に古い AI テクノロジーによって支配されています。いわゆる生成 AI や大規模言語モデル (LLM) などの新しいものは今の流行ですが、ZDNET が行っているように、医療アプリケーションの機密性を考慮すると、医療分野で大幅に使用するにはリスクが高すぎると考えられています。最近報告されました。
オープンソース ソフトウェアへの取り組みは、OpenAI の ChatGPT などのクローズド プログラムと比較して、AI の「ブラック ボックス」の内部を調べるのを少し容易にすることで、生成 AI の進歩に役立つ可能性があります。
その精神に基づき、AI コンピューター メーカーのセレブラス システムズは先週、27 か国の医療施設運営会社であるパートナー M42 との共同取り組みを発表し、医療提供者の「アシスタント」として機能する、医療アプリケーション向けに設計されたオープンソース LLM を提供することを発表しました。 。
Med42と呼ばれるこのプログラムは、Meta Propertiesが今年リリースしたオープンソースLLMであるLlama 2を改良したもので、両社が編集した特別な健康関連データセットを使用している。
Cerebrasの共同創設者兼最高経営責任者（CEO）のアンドリュー・フェルドマン氏はZDNETのインタビューで、「ヘルスケアの提供におけるAIの利用において道を切り開いている」と語った。
両社によると、医師のアシスタントとしてのこのプログラムの用途には、医療質問への回答、患者記録の要約、医療診断の支援、一般的な健康に関するQ&Aなどが含まれるという。これには研修医は含まれないと彼らは強調した。
Med42 プログラムは、Llama 2 の 700 億パラメータ バージョンを使用します。微調整の作業は、Cerebras と M42 が、基礎的な AI 研究を行うマネージド サービスおよび IT 企業である Core42 と協力して実行されました。 M42 と Core42 はどちらも、Cerebras の顧客である世界的な複合企業である G42 が所有しています。
M42ニューラルネットは、公的に入手可能な情報源からの70万件の質問と回答のペアのデータセットを用いて微調整されており、「M42によって厳選され、当社の医療専門家チームによって検討された」とM42はZDNETへの電子メールで述べた。 「データセットには多肢選択式の質問や医療フラッシュカードなどが含まれていた」としている。
「Med42は患者データや個人を特定できる情報を使った訓練を受けていない」とM42は述べた。
M42 コードは現在、HuggingFace でパフォーマンス データとともに入手可能です。両社は、機能とパフォーマンスの強化に役立てるため、「医療専門家と協力してモデルを改良およびテストし」ながら、機能強化をリリースする予定です。 」データセット自体が公開されるかどうか尋ねられたところ、両社はZDNETに電子メールで「これはまだ決定されていない」と答えた。
微調整は、セレブラスが今年G42向けに構築した巨大AIコンピューター、コンドル・ギャラクシーで行われた。セレブラスはこれを「世界最大のAI用スーパーコンピューター」と呼んでいる。 Cerebras によれば、「CG-1 内の 64 個の Cerebras CS-2 システムにある 82 テラバイトのメモリと 5,400 万個の AI コアにより、迅速なセットアップとトレーニング時間の短縮が可能になりました。」
「これらの興味深いアプリケーションはすべて Condor Galaxy 上で実行されており、これは他のスタートアップのハードウェアとは異なります」と Feldman 氏は述べています。 「私たちは業界を本当に前進させています。」
フェルドマン氏はフォローアップ電子メールで、「[ラマ 2 の]すべてのパラメーターが微調整され、これはコンドル ギャラクシー 1 で利用可能な膨大なメモリによって可能になりました […] 3 つのエポックのセットアップとトレーニングは 5 で完了しました」と述べています。大規模な GPU クラスターでは数か月かかるでしょう。」
HuggingFace のパフォーマンス データで両社は、「Med42 は、MedQA、MedMCQA、PubMedQA、HeadQA、大規模マルチタスク言語理解 (MMLU) の臨床トピックを含むさまざまな医療ベンチマークで競争力のあるパフォーマンスを達成している」と述べています。
M42 によれば、米国医師免許試験 (USMLE) サンプル試験では、このプログラムは「72% の精度を達成」しており、「公開されている医療 LLM の中で従来の最先端技術を上回っている」とのことです。また、59.6% の精度を獲得した OpenAI のクローズドソース GPT 3.5 も大幅に上回りましたが、Med42 は GPT4 の 84.3% の精度には届きませんでした。
「Llama 2 700 億のような非常に大規模な事前トレーニング済みモデルを使用し、それに本当に興味深いデータセット、先駆的なデータセットを持ち込めば、非常に興味深いことを、ほんのわずかな時間で実行させることができます。 GPT 3.5のようなものの消費電力です」とフェルドマン氏は語った。
Cerebras は、最近特にオープンソース プロジェクトに積極的に取り組んでいます。同社は 3 月に、制限なく使用できる生成 AI プログラムのいくつかのバージョンをオープンソースとして公開しました。
同社は 8 月に、世界で最も強力なアラビア語 LLM である Jais-Chat をオープンソース プログラムとして発表しました。
現時点では、Med42 は生産されていません。 「テストが成功した後、Med42は臨床展開に利用可能になる」と両社はZDNETへの電子メールで述べた。
「重要なのは、Med42はオンプレミスで導入でき、医療提供者のニーズに合わせて完全にカスタマイズされ、所有するデータソースを使用し、外部侵入の能力を制限できることです」と彼らは付け加えた。 「私たちは生産へのスピードよりも技術の安全な適用を優先しており、モデルの展開前に広範な安全性評価に取り組んでいます。」