MedPerf はデータのプライバシーを保ちながら医療 AI を高速化することを目指しています
AI チップのベンチマークを行う MLCommons グループによって作成された MedPerf を使用すると、臨床医は患者情報を非公開に保ちながら、アルゴリズム開発者は実世界のデータでプログラムをテストできます。
人工知能の機械学習形式を医療に適用することは、モデルのトレーニングに使用されるデータの機密性によって妨げられます。
AI の「フェデレーテッド」トレーニングとして知られる新しい取り組みは、データをプライベートに保ちながら、アルゴリズム開発者や臨床医が実際のデータセットと新しい ML モデルの相互作用から恩恵を受けられるようにすることを目的としています。
MedPerf は、AI タスクにおけるコンピューター チップのパフォーマンスのベンチマークを行う業界コンソーシアムである非営利の MLCommons Association によって設立されたグループで、権威ある科学雑誌 Nature が月曜日に発表した就任意見書で説明されているように、データの行き詰まりを解決することを目的としています。 。
MedPerf ベンチマークは AI モデルを取得し、データを持つ臨床医に送信します。その後、臨床医はモデルがデータに対してどのような結果を示したかを報告します。つまり、AIプログラムの開発者は、他の方法では決してアクセスできないプライベートなデータセットにアクセスできるようになり、一方、臨床医は、データを予測することでAIが患者の健康状態についての答えを提供できるかどうかを確認できるようになる、と研究グループは述べている。交換により、データが臨床医の安全な施設から流出することはありません。
「このアプローチは、医療 AI の幅広い導入を促進し、より効果的で再現性があり、費用対効果の高い臨床実践をもたらし、最終的には患者の転帰を改善することを目的としています」とこのグループは論文「MedPerf を使用した医療用人工知能の連合ベンチマーク」で述べています。 Nature の Nature Machine Intelligence インプリントに掲載されました。
この論文は、フランスのストラスブール大学の筆頭著者 Alexandros Karargyris 氏と、Nvidia や Microsoft を含む 20 以上の企業、13 か国 5 大陸の 20 の学術機関と 9 つの病院を代表する 76 人の寄稿者によって執筆されました。
カラルギリス氏とチームによると、サンプルベンチマークテストにおける MedPerf の最初の使用は放射線科と外科であったという。しかし、このプラットフォームは「計算病理学、ゲノミクス、自然言語処理（NLP）、患者の医療記録の構造化データの使用など、他の生物医学的タスクにも簡単に使用できる」と彼らは書いている。
このアプローチの核となるアイデアは、MLCommons Web サイトの概要図と、付随するブログ投稿に示されています。
MLCommons のエグゼクティブ ディレクターである David Kanter 氏は電子メールでの声明で次のように述べています。「医療 AI は、地球上のすべての人に潜在的な影響を与えるために不可欠であり、特に MedPerf で見られた広範なコミュニティとの関わりを誇りに思っています」 -- 研究者、病院、技術者など。
「MedPerf はコミュニティの大きな取り組みであり、私たちはそれが今後成長し、繁栄し、最終的にはすべての人のための医療を改善できることを楽しみにしています」とカンター氏は述べた。
MedPerf のプラットフォームは、Docker に似た安全なアプリケーション コンテナを作成する方法である MLCubs で構成されています。プラットフォームには 3 つの異なる MLCube があり、1 つはデータを準備し、1 つはモデルをホストし、3 つ目は出力を評価してベンチマーク テストでモデルのパフォーマンスを評価します。
Karargyris とチームが記事で説明しているように、
モデル MLCube には、ベンチマークの一部として評価される事前トレーニングされた AI モデルが含まれています。これは、データ準備 MLCube によって出力された準備済みデータの予測を計算する単一関数 infer を提供します。将来の API のみのモデルの場合、これはプライベート モデルに到達するための API ラッパーをホストするコンテナーになります。
MedPerf は、AI モデルの人気リポジトリである Hugging Face とも協力しました。 「Hugging Face Hub はモデルの自動評価を容易にし、ベンチマーク仕様に基づいた最良のモデルのリーダーボードを提供することもできます」と彼らは書いています。
もう 1 つのパートナーは Sage Bionetworks で、クラウドソースのデータ課題で使用されているデータ共有用の Synapse プラットフォームを開発しています。 「MedPerf-FeTS 統合に必要ないくつかのアドホック コンポーネントは、Synapse プラットフォーム上に構築されました」と著者らは述べています。 「Synapse は研究データの共有をサポートしており、コミュニティの課題の実行をサポートするために使用できます。」
MedPerf のアプローチは、Federated Tumor Segmentation Challenge として知られる複数の学術機関によって組織された課題ですでにテストされています。この課題では、ニューラルネットが MRI 画像内の脳腫瘍、特に神経膠腫を識別することが求められます。 MedPerf が参加した FeTS 2022 チャレンジは、6 大陸の 32 の参加施設で開催されました。
「さらに、MedPerfは、医療AIモデルの研究開発を目的とした多機関連携に関与する学術グループとの一連のパイロット研究を通じて検証された」と著者らは述べた。
MedPerf は、プラットフォームをさらに多くの参加者に拡大することを期待しており、「現在、大規模なコラボレーションを通じてヘルスケア AI の汎用評価に取り組んでいます」と宣言しています。
この論文では、MedPerf は現在初期の「概念実証」段階を過ぎ、アルファ段階からベータ段階への移行の真っ最中であると説明されています。次のステップには、ベンチマーク タスクを外部の参加者に一般に公開することが含まれます。
この文書の一部は、「医療関係者が仕様を定義し、分析を監督するベンチマーク委員会を結成すること」や「データ所有者（医療機関、臨床医など）が自分のデータを登録することなど、医療関係者に積極的に貢献するよう呼びかけている」プラットフォーム内にあります (データ共有は必要ありません)。」
MedPerf のコードは GitHub に投稿されています。