ニューヨーク市は、医療アルゴリズムにおける偏見と「人種ノーミング」を終わらせるための連合を結成しました
これらのアルゴリズムは、ニューヨーク市の黒人およびラティーノ住民が受けるケアに悪影響を与えることが証明されています。
ニューヨーク市は、市内の病院で使用される臨床アルゴリズムにおける人種調整を終了するための最近の取り組みを発表しました。専門家は、これらの調整が医療における人種差別的な仮定を助長し、少数派の人々に対して標準以下のケアをもたらす可能性があると述べています。
医療施設は、患者に対する医療の配分を決定するために臨床アルゴリズムを使用しており、多くの病院では「人種ノーミング」と呼ばれるプロセス、つまり人種調整を使用しています。これは、黒人やラティーノの市民が受けるケアに悪影響を及ぼすことが証明されています。
この発表には、腎機能に関する黒人患者の「調整」要因を含む、都市の住民に影響を与える現実の状況の例が含まれています。この調整要因は、同じ測定結果に対して黒人の腎機能レベルを白人患者よりも健康的と計算します。これにより、黒人患者のケアに遅れが生じています。
妊産婦ケアにおける人種の規範化は、黒人やラテン系の人々が「白人女性と同じ年齢、健康状態、過去の出産歴」を持っているにもかかわらず、不必要な帝王切開を受ける可能性を高めることにつながっています。これらのアルゴリズムは、より一般的に、出産する黒人やラテン系の人々にとって「あまり好ましくない結果」をもたらしています。 既存の母性および健康の不平等を悪化させる。
これらの問題に対処するために、ニューヨーク市保健局は臨床アルゴリズムにおける人種調整の含有を終わらせるための連合を結成しました。
「臨床アルゴリズムにおける人種差別を終わらせるための連合（CERCA）は、より健康で公平な都市を実現する手助けをします」と保健局長のデイブ・チョクシ博士は述べました。
副コミッショナー兼最高医療責任者のミシェル・モース博士は、「臨床アルゴリズムにおける人種調整の問題のある概念と実践についての認識を高めることは、黒人、先住民、色のある人々（BIPOC）として自己認識する人々にとって、より公平な医療結果と体験を生み出す可能性があります。」と付け加えました。
NYCヘルス+ホスピタルズの社長兼CEOミッチェル・カッツは、市の公衆衛生システムが保健局や他の医療システムとの協力を楽しみにしていると述べました。
「この連合は、私たちのシステムの既存の『医療人種差別』イニシアチブの作業と影響をさらに加速させる力を持っており、これは人種に基づくアルゴリズムの現状に挑戦することを目的としています...これらは私たちの分野で数十年にわたり広く受け入れられてきました」とカッツは述べました。
CERCAに関与する機関には、NYC Health + Hospitals、マイモニデス医療センター、マウントサイナイ健康システム、ニューヨーク・プレスビテリアン、ノースウェル・ヘルス、NYUラゴーン病院、ワン・ブルックリン・ヘルス、SBHヘルスシステム、SUNYダウンステート、ワイコフ・ハイツ医療センター、コーテリュー医療協会が含まれます。
それぞれが「少なくとも1つの臨床アルゴリズムにおける人種調整を終了し、人種的不平等と患者の関与の評価のための計画を作成する」と述べています。また、彼らは2年間隔月で会合を開き、年次報告書を作成する予定であり、その最初の報告書は2022年6月に発表される予定です。
黒人の医療専門家たちは、病院が治療のために使用するアルゴリズムにおける人種調整の背後にある人種差別を長い間指摘してきました。ペンシルベニア大学のアフリカ研究、法学、社会学の教授であるドロシー・ロバーツ博士は、医学における人種調整は「人間の生物学に関する虚偽の人種差別的信念に基づくだけでなく、黒人患者に害を及ぼすことが示されている」と述べました。
テクノロジー擁護団体「未来のための戦い」のキャンペーンディレクターであるケイトリン・シーリー・ジョージは、人種調整が「人種差別的信念に基づく極めて非道徳的な医療行為」であるだけでなく、人工知能がこれらの人種差別的信念を増幅する主要な例でもあると述べました。
「人種に基づく生物学的差異の概念はAIのずっと前から存在していましたが、この技術はこれらの人種差別的な慣行を悪化させるために武器化されています。ほとんど透明性がなく、どのように決定を下しているのか分からないブラックボックスで機能するアルゴリズムがたくさんあります。私たちの社会全体の人種差別的な構造を打破するためには、これらのアルゴリズムを開放し、どのような他の人種差別的信念が彼らの計算に含まれているのかを見つける必要があります」とシーリー・ジョージは述べました。
「この作業を行うためには、すべての医療システムが必要であり、有害なアルゴリズムの採用を阻止する法律が必要です。そして、ニューヨーク市では、1つの臨床アルゴリズム(現在の範囲)を超えなければなりません。そして、これらの取り組みには、これらのアルゴリズムによって被害を受けた実在の人々だけでなく、これらのアルゴリズムが実在の人々に及ぼす害について重要な洞察を提供できる人権団体や専門家も含まれていなければなりません。
NYUタンデン工学部の助教授であり、大学の技術、文化、社会の科学技術研究学科のディレクターであるダニャ・グラバウ博士は、医学の文脈における「アルゴリズム」は、評議会が改革を目指すコンピュータ化されたシステムよりもはるかに長い歴史を持っていると述べました。
グラバウによると、医療アルゴリズムは、医師が治療の決定を下すために使用するあらゆる種類の意思決定ツリーであり、非コンピュータ化医療アルゴリズムの使用は、数十年にわたりエビデンスに基づく医療の基盤となっています。
しかし、自動化されたアルゴリズムは、コンピュータが決定を下すため、治療の決定から医師の判断をある程度排除します。デジタルアルゴリズムが導入されたとき、人間を排除することで人間の人種差別がなくなると考えられていましたとグラバウは説明しました。
「しかし、自動化されたアルゴリズムの決定は過去の人間の決定に基づくデータに依存しているため、人種差別や階級差別といった人間の偏見がこれらのツールに影響を与え続けます。したがって、医療の歴史が人種差別的であるため、これらのツールだけでは人種差別の問題を本当に解決することはできません」とグラバウは述べました。
"デジタルアルゴリズムがどれほど広く普及しているか、またその中で人種に特に注目しているものがどれだけあるかを正確に言うのは難しい。しかし、ほとんどの提供者が日常的にいくつかを使用しており、それに気づいているかどうかはわからない可能性が高い。"
エイミー・モラン＝トーマスのような研究者たちは、パルスオキシメーターのような単純なデバイスでさえ人種差別的な結果をもたらす可能性があることを示しています。
「この場合、デザイナーは単に肌の色が光学センサーによる読み取りにどのように影響するかを考慮しませんでした。また、スケジューリングソフトウェアのようなツールが人種に関係なく見えるにもかかわらず、人種差別的な結果をもたらす可能性があることもわかっています。しかし、特に黒人患者は、彼らのコントロール外の要因により、時間通りに予約に来るのが難しいため、二重または三重に予約されることがありました」とグラバウは述べました。
「これらの例は、アルゴリズムやその他のデジタルシステムがどのように人種差別的な結果をもたらすかを予測することがいかに難しいかを示しています。COVIDがBIPOCコミュニティに大きな影響を与え、郵便番号が収入や人種的分離と相関しているニューヨークのような都市では、そのように一見平凡な技術が健康に重大な影響を及ぼす可能性があります。」
しかし、評議会が成功する唯一の方法は、病院システムの運用、ソフトウェア、およびアルゴリズムを生産する企業からの技術文書への完全なアクセスを与えられることだとグラバウは付け加えた。また、評議会は市全体で実施できる拘束力のあるガイドラインを作成する権限も与えられる必要がある。
「この評議会に権限が与えられなければ、衝撃的な情報を見つけたり、善意の提言を行ったりすることはあるかもしれませんが、患者にとって何も変わらず、反人種差別の使命を達成することはできません」とグラバウは説明しました。
グラバウは、日常的な技術が健康結果に大きな影響を与える方法について広範に執筆しています。