【Appsheet】薬局薬剤師が作った、薬歴AI会話録音アプリ①

ある時、薬局で音声認識AIとChatGPTを用いた薬歴作成補助サービスというFAXが届きました。
iPhoneの音声入力とChatGPTで画像を読み取って疑義照会アプリを作っているところだったので、この機能をAppsheetを活用して同様のサービスが低コストで実現可能だと考えました。
iPhoneの音声入力で患者さんと薬剤師の会話を録音し、ChatGPTのAPIをGASで繋いで会話の中から薬歴に必要な項目を作成するアプリです。

薬歴には一定の記載ルールがあり、当薬局には自然とそのルールに従って書けるようにハンコが用意されています。そのハンコには新規患者さん用と再来患者さん用の2種類があり、項目は以下のようになっています。
〈新規患者用〉
1.他科受診状況
2.併用薬
3.アレルギー歴
4.副作用歴
5.嗜好品
〈再来患者用〉
1.コンプライアンス（残薬日数の聞き取り）
2.体調変化
3.他科受診状況
4.併用薬
5.副作用
6.お薬手帳持参状況
上記のように、新規患者さんと再来患者さんでは、確認する項目が異なるので、アプリとしてもテーブルを分けて、ChatGPTに抽出してもらう項目も分けることにしました。

そして、はじめに作ったアプリは「会話内容」というテキストを入力するためのカラムにiphoneで音声入力するというものでした。入力してみると、うまく声を拾わず、精度はあまりよくありませんでした。入力精度が良く無いと、そのデータから情報を抽出するChatGPTもパフォーマンスを発揮せず、また、どこにも無いデータを解答してくるなど実用性に欠ける結果となりました。医療現場は正確性が重要な要素となりますので、最後は人が修正することになるとしても、あまりに現実と違う回答では困ります。

そこで注目したのがgoogle cloud platformで取得可能なAPIである、OCR技術と音声認識技術です。まずは再来患者さん用の精度をあげることに取り組みました。
前回の受診記録（レセコンデータか処方箋）と今回受診記録（処方箋）を画像でとり、OCRでテキストにします。そして患者さんに服薬指導した録音データを音声認識で文字起こしします。これらのより正確な元データから、ChatGPTに要約してもらい、上記項目を薬歴として答えてもらおうと考えました。
OCRにはgoogle cloud vision API、音声認識はcloud Speech-to-Text APIを使用します。
APIの取得方法はまた別の記事で書きたいと思いますが、どちらもgoogle cloudから設定し、GAS、Appsheetのボット作成と、パターンがありますので比較的簡単に繋ぐことができます。
今回はそうしてできたアプリについて説明させてもらいます。

【アプリの使い方】
「録音ファイル」に音声データ、「前回受診画像」に前回の内容のわかるものを画像で、「今回受診記録」に今回の処方箋画像を読み込ませ一度保存します。

アクションを順番に実行していきます。まずは音声データの文字起こしです。

録音内容に音声データの文字起こし結果が入りました。かなり正確でした。
次に、2枚の画像をOCRでそれぞれテキストにします。写真は両方とも処方箋を使用したので少しわかりづらいかもしれません。

上が前回、下が今回の受信データです。AIには前回受信日から今回の受信日までの経過日数から前回の処方日数を引いたものを残薬日数として計算できるように、プロンプトを入れてあります。

データが揃ったのでAI作成のアクションボタンを押します。

AI解答として、残薬日数、体調変化などSOAP形式で解答を得ることができました。事実でない解答もなく、これなら実用性があるかなというところです。
これからも研究を続けます。

薬局のための色々なアプリを作っています。
ご興味のある方は　info@aicok.jpまでご連絡ください。