【医師の幼稚園:医療AI編】②「専門医?AI?」
クリニックでの診療以外にMAPI(医療AI推進機構)の想いに賛同し活動に参加させていただいております。
(この記事も井手個人の見解として記述をしております)
鶏が先か?卵が先か?
昨日読んだ雑誌で門外漢の私でも「へーっ!、ほーっ!」という医療AI情報が満載でそれを引用し、私見を交えながら書かせていただきます。
「AIによる診断支援プログラムの開発から保険収載までの道程」というテーマの記事の中で
【薬機法承認を取得する際に治験を行い、要求される精度向上が見られれば診療報酬加算を得ることが可能だと思われるが、多くのSaMDが市販後のアップデートを行ってることからわかるように、初回申請時にその精度を達成することが困難であり、実質チャレンジ申請に頼らざるを得ないことも課題の一つ。】
【実臨床において専門医がSaMDを使用した際に精度が向上している」ことが求められる。しかしながら。診断系SaMDは、非専門医が専門医並みの精度となることで診療の均てん化を図ることも大きな目的の一つである。そもそも、多くのSaMDが専門医のアノテーション(教師ラベル付け)で機械学習されているため、専門医を大きく上回ることは難しい。】
ということの記載がありました
立場の違い
承認の仕組みなどについてはまだ明るくはありませんが、承認側と被承認側どちらも仕方ない面があるのは理解できます。
承認側
医療費支払機関や国民に対して説明責任が発生するので「穴のない承認」を目指さざるを得ません。自分が官僚側だとしたらそうしているでしょう。
被承認側(つまり、申請側)
リソースが豊富でない中で良いものを作っていこうとしており悪意はありません。しかし、様々な制限の中でいきなり完璧なAIを作ることは現実的ではありません。現在のAI作成は学習させるデータ依存になっているのですが、データが豊富には手に入らない、データの記載にバイアスやばらつきがある。そして、そもそも生体を扱っており、同じ所見でも文脈依存で異常と正常の閾値が異なることがあるなど、医学・生物学は広義にはScienceという括りでも数学や物理のような厳密なScienceとくらべてまだまだERRORやSDが大きいのです。
平均という地獄?
皆さん高校生に戻ったとしましょう。担任の先生から
①80点未満は進級できないぞ!
②平均点以下は進級できないぞ!
と言われた時にどちらがクラスの雰囲気が悪くなりますか?恐ろしいですか?
①普通は(あくまで僕の高校では)60点未満が赤点でしたので、80点という基準は怖いですよね。しかし、これは救いがあります。全員で80点を超えるように一致団結して協力体制がクラス内でできるのです。今の医学部生は真面目なので全く当てはまらないかもしれませんが、私の時代は学生それぞれが担当授業を割り当てられてその授業のまとめノートをつくり、それを皆で集めてまとめて製本してテスト前に勉強するということが行われていました。ですので、授業に参加している学生数はすごく少ないという状況でした(すみません、今となってはもっと授業出ていればと反省しております)
②「平均」というのは「中央値」とは異なるので クラスの半分という意味ではありませんが、ベルカーブのような分布のクラスだった場合には半分近くのクラスの仲間が進級できないのです。
これでは皆で助け合うことで平均点が上がってしまうのと、ばらつき(ベルカーブの裾野)が小さい分布になるため、ちょっとしたことで平均以下に陥落してしてしまい自分の努力が報われず落第する可能性が出てくるのです
。
ここで全員同じ点数とればいいじゃないか?わかりやすいのは0点ですよね。ボイコット的な行動として0点とるのは可能です。
しかし、ここでもう一度見てください。この担任の先生はかなりの策士です。【平均点以下は進級できないぞ】つまり平均点ではだめなのです。0点を全員とった場合には全員進級できないのです。
いつも通りなんのこっちゃ?と思われたかもしれません。これは【実臨床において専門医がSaMDを使用した際に精度が向上している」ことが求められる。】という記載を見てかいたものです。
専門医とAI
皆様、2022年にChatGPTが大きな盛り上がりを見せたときに、YouTubeなどでタレントの皆様などがエゴサーチなどをして、AIのFunnyな間違いなどを笑う動画などがたくさん出ていました。この2年間でかなり性能の向上が見られているとはいえ、やはり完全に盲信できるレベルではありません。
専門医というのは
①SUPER DOCTORという意味の専門医
②その分野における認定医という意味の専門医
の2つが考えられると思いますが
①の意味の専門医はSUPER DOCTORなので データそのものだけでなく、患者さんに関する様々な情報を組み合わせて判断ができるというレベルです。例えば、この記事は内視鏡画像のAIについてでしたが 画像を「一生懸命」見たときの判断というのはSUPER DOCTORとAIとは同等の結果を出してくるのでAI精度の向上は難しいです
②おそらくは承認側が求めているのはこちらの専門医の方だと思います
以下の記事でも書かせてもらいましたが
【厚労省も述べているように、専門医としての能力について、医師と国民との間に「捉え方のギャップ」が存在しています。一般のイメージする専門医は「神の手を持つ医師」や「スーパードクター」です。しかし、厚労省は「それぞれの診療領域における適切な教育を受けて十分な知識・経験を持ち、患者から信頼される標準的な医療を提供できる医師」と定義しているのです。】
そういった先生はの場合には①のSUPER DOCTORの見立てで作られた医療AIの恩恵を十分受けることができると思います。
しかし、そもそも専門医であるのでその精度を上回ることの程度定義がどれくらいかですよね。
訴求ポイントが
・同等(劣性がないこと)
・優性
・かなり優性
という評価だけだと、評価時に専門医の先生も必死に時間をかけて読影するので、実際の臨床の現場での運用とは異なる可能性があります。
時間当たりのタスク数や連続タスク数の中での劣性・優性など多忙な臨床の中でシミュレーションを行うことも必要なのかな?と思ったりもしました。そうするとAIがかなりの優性を可能性もあるのです
勿論、そんなことは承知でそのようなSTUDYが行われているとは思いますが、それとそもそも読影する人が絶対的または相対的に足りない時にはまずは 緩いAI(広めにスクリーニング的に異常を指摘する)も一次読影においては十分有用かと思うのです。
認められないとは思いますが Copilot(Microsoft社)でも会話スタイルを変えれるように、状況に応じて厳密度をスライダーで変えられるようなレベル可変医療AIとか難しいですかね?
今日はここまで
(このシリーズの趣旨)まずは「へーっ!」だけでOK
「noteで新たなシリーズ【医師の幼稚園:医療AI編】を勝手に始めます!」
このシリーズの趣旨は以下の記事に書いております
内容は自分の興味のままに学習した医療AIに関することを備忘録的に、脈絡なく、系統立てずに書き残すシリーズです。ですので、話題は飛びまくりですしレベルが低いです!
しかし、自己紹介にも書かせていただいておりますが「①【医療・開業医のため息】をまず自分のために解決したい。」と、自分のために行っている活動ですので苦情は受け付けません(笑)
(再掲)とにかくAI試してみよう!
ChatGPTやCopilotやGeminiでは無料で試せるものがありますのでまずは触れてみてください。どのように触れるかはまた実例を後日書かせていただきます。
目的は一般のAIを使うことでメリットやデメリットや使い分けの理解がでてきて、医療AIでも結局そういったケアをしながら使うことでメリットが大きくなるので 悪くないんじゃないという先生方や医療機関が増えることが大切だと思うのです。
(再掲)AIと間接民主主義
これはMAPIのメンバーの言葉で感動したものです・
「データを提供していなければ、AIはその施設の特性を無視して判断するように、基準が作られていきます。学習データを提供することで、間接的に、自分たちの医療判断や患者層を基準に取り入れさせるという意味では、間接民主主義みたいだなと思いました。」
そういった意味でデータを提供してくださいということも大切ですが、AIを使ってダメさ加減にため息を感じていただくことでデータ提供が更に進むと思います