Med-Gemini by google
誰もが簡単にAIを利活用できる時代になり、今現在はChat GPTかGeminiが一般的に最も利用される生成系、対話型、大規模言語モデルとしての汎用AIでは双璧をなしています。
双方使用してみて、やはりそれぞれにキャラクターの違いがあります。
Geminiはgoogleの検索エンジンと連携していて、より最新の情報に強く、事実確認しやすいところは大きいと思います。レスポンスも早いです。
Chat GPTはどちらかというと自然でクリエイティブな文章の生成に適しているようで、情報の正確性よりはそちらに重点が置かれている気がします。
フェイクリスクはより大きいかもしれません。
Geminiに期待するところは一つはマルチモーダルにおいてと情報の信憑性においてです。
この辺りはエンドユーザーでも色々と思うところはあります。Geminiの方がフェイクリスクが少ないとは言い切れないし。そもそも人間でも一つの事象をどうとるかはその人個人の思考による部分があります。
マルチモーダル言語モデルとは文章、写真、ビデオ、オーディオなどの多様な入力形式から情報を統合して処理してくれるモデルです。
ちなみに、URLの入力をすることで、そのウェブページを理解してくれるところも便利な機能だと思います。ちなみにPDFも読み込めるようです。リサーチを簡単にGeminiに頼むことが出来ます。
さてマルチモーダルへの対応の一例を以下に示します。
Nature Medicineにおいて2020年にpublishされた論文です。
Abstructですが
皮膚疾患は世界で19億人に影響を与えています。皮膚科医の不足により、多くの症例は診断精度の低い一般医によって診察されています。私たちは、17の医療機関を対象としたテレ皮膚科診療から得られた16,114件の匿名化された症例（写真および臨床データ）を使用して、皮膚疾患の鑑別診断を提供するディープラーニングシステム（DLS）を開発しました。このDLSは、プライマリケアで診察される症例の80％を占める26種類の一般的な皮膚疾患を区別するだけでなく、419種類の皮膚疾患に関する二次予測も提供します。963件の検証症例において、3人の認定皮膚科医からなるローテーションパネルが参照基準を定義しました。その結果、DLSは他の6人の皮膚科医に対して劣らず、6人の一般医（PCP）や6人のナースプラクティショナー（NP）よりも優れていました（トップ1の精度：DLS 0.66、皮膚科医 0.63、PCP 0.44、NP 0.40）。これらの結果は、DLSが一般医が皮膚疾患を診断する際に支援する可能性を示しています。
これまでであれば、在宅医療を受けていて、皮膚科を受診する事が困難な患者さんで、診断精度が低ければ、皮膚科医に皮膚の写真を見せてアドバイスを受けたり、オンライン診療で直接診察を受けるか、D to P with D or N(患者さんを診察する時に医師もしくは看護師が皮膚科医とオンラインで繋がる)、などの方法が考えられます。ちなみにここに出てくるNPというのは、特別な教育や研修過程を受け認定を得た看護師です。とはいえ、ベテランの看護師ではNPでなくても同等の能力をもつ場合もあります。
これを在宅医療の現場でつかえます。Pubcareのプラットフォーム上には患者データがEHRとして入っており、そのデータとどの職種でも写真さえ撮ればその画像を元にしてある程度の判断が出来れば、そのまま処方や処置に繋げる事が可能になります。
以上は皮膚のマルチモーダルとAIの話でしたが、
消化管内視鏡の画像や、レントゲン、CT、MRIなどの画像データからもAIがマルチモーダルで高精度の診断を出すことが出来るようになり、画像診断はAIに取って代わられるという想定から放射線科の専門医が転科といって別の専門科に変わるといった話も聞きます。
少し話はそれますが、実は携帯のカメラで血圧や脈拍、酸素濃度などのバイタルサインを取得出来る事をご存知でしょうか？
ストレスの程度まで測定する事が実は可能なのです。
スマートフォンのCMOSセンサーはとても高性能なセンサーで顔面の血管の状態を把握できます。
実際にある2020年のピッチコンテストで、イスラエルの技術で作られたそのプロダクトはピッチ会場で、スマートフォンのカメラレンズを人の顔に向けるだけでバイタルサインを測定し、ストレスの程度も計測していました。
デバイスは進化し、AIも進化したのにそれを利用する人間がまだ進化していない。そんな状況だと思っています。
テクノロジーの一つ一つは進化しているのに、それを有機的に結びつけるプラットフォームがない。
せっかくいい魚をたくさん釣ったのに食べてもらう場所も相手も居ないようなものです。
私は九州大学と福岡大学の医学部の臨床教授を拝命しています。
大学は臨床・教育・研究を行う場所です。
AIもそうかもしれません、順番で言えば教育、臨床、研究となると思います。
①教育では
ディープラーニングやファインチューニングができる環境と、そのための安全なフィールドが必要です。
②臨床
AIが臨床においてそのポテンシャルを発揮することが必要です。
③研究
その結果から、様々な相関などを出すことはAIの得意とするところだと思います。AIに研究をすべて任せることはありませんが、仮説を組み立てたり、解析を行ったり、考察をするなどでは非常にすぐれたパフォーマンスを発揮すると考えます。ただこの過程は専用のディープラーニングシステム（DLS）を開発し、ファインチューニングを施さないといけないわけです。今後はこの分野の学術的専門分野（専攻科）が一つあってもおかしくない時代になったのではないかと思います。
意外かもしれませんが、我々のCTOにあたる人物は文系です。もはや文系と理系は古典的な専門性のある専攻科でない場合は意味をなさなくなっている気がします。
ちなみにChat GPTは文系脳、Gemini は理系脳の様な気がします。
少し話がそれましたがなんとかとはさみは使いようといいます。
AIを有効に活用するには、何をさせるのかしっかりと要件整理・定義をし、実用性をもたせるようディープラーニングシステム（DLS）を開発設計をして、ファインチューニングを行う必要があります。
Med-Geminiというシステムアーキテクチャをヘルスケアのプラットフォームに落とし込みデータアーキテクチャとしてうまく稼働させることが出来れば、医療に大きな変革が生まれると期待しています。
我々のヘルスケアプラットフォームPubcareは
EHR:Electrical Health Recordと
PHR:Personal Health Recordを融合させたプラットフォームです。
医療現場では非効率的な事務作業が多く、著しく生産性を低下させています。医師や看護師の仕事の少なくとも４割は事務作業と言われます。
PubcareにはEHRとして患者データが蓄積されていきます。
AIが３文章６情報などを読み込み、患者サマリー（要約）を作成するなどは現在でもすぐに可能な技術です。常に最新の患者情報にアップデートされたPubcare proをリファレンスに利用することで医療や介護現場の生産性をあげることが出来ます。もちろんリファレンスに利用するだけでなく。様々な書類を自動で作成することも出来ます。
Pubcare proでの場合は主に患者の病状のまとめが一番便利になると思います。特に高齢者で沢山の疾患を抱え、様々な病院や診療科に渡って受療を受けている場合などです。
例えば高血圧で掛かっていた患者さんが、狭心症になり治療を受け、下肢の動脈にも狭窄が見つかり治療を受けた。その後肺がんが見つかり、手術を受けた。その後神経疾患になり、その治療を受けるが、進行性の神経疾患で、治療や検査、入退院を繰り返し、前立腺などの泌尿器疾患も見つかったなどの場合を想定します。
最初に主治医が簡単な病歴を作成する。その後紹介状やお返書などをAIがまとめて、患者要約をまとめていく。その時に集めた情報がPubcare proの他のデータベースも埋めていき、患者解像度の高い最新の患者情報がEHRとして完成度を高めていく。
そうする事でデータベースとしてのPubcare proから診療情報提供書なども直ぐに簡単に作成出来ますし、その他の必要な書類も取り込んだり、出力する事がとても容易になります。
データアーキテクチャのなかで特定の部分のみをAIが触る場合、個人情報とはもともとAI側には渡らないため、ファイヤーフォールとなる良い設計思想と言えます。