【NYAUWとMAPIのクロスミッション】⑭「キャプチャー画像から文字を抜き出そう：AI by Zapier優秀です」
クリニックでの診療以外にMAPI（医療AI推進機構）の想いに賛同し活動に参加させていただいております。
（この記事も井手個人の見解として記述をしております）
TPPIの解決
いつも意識していることがあります。
（TPPI）いつも意識することが「THEORETICALLY POSSIBLE、BUT PRACTICALLY IMPOSSIBLE（TPPI）の解決です」
・オリンピック選手に競技を選べばなれますが、なろうとする人は殆どいないですよね？
・宝くじも理屈上買い占めれば必ず当たりますが買い占めませんよね（期待値上平均すると胴元には負けるので）
先日も書かせていただきましたがITツールで気楽に記録が残せるからこそ逆に情報が探せないと書かせていただきました。
私もGoogle AlertやGoogle NewsやSmartNewsなどで朝の通勤時にスマホの小さな画面で情報を確認しております。
理想と現実①
①理想論を言えば
その記事のリンクをブックマークアプリや共有機能で自分のメールやメッセンジャーやSlackなどに転送しておけば、そのリンクを画面の大きなPCどで開いて、その記事の文字情報をコピペしてメモに残したりできます
①しかし、現実的には
電車で立ちながら見ているときにそのような操作をするのは現実的ではありません。そこで現実的には画面キャプチャをしていました。
理想と現実②
②理想論を言えば
そのキャプチャ画像を自分のメールやSlackやMessengerに転送すれば良いのです。そうするとそれらの再確認が楽だからです。
②しかし、現実的には
電車でたくさんの記事を見ているとキャプチャだけしてスマホにキャプチャ画像が溜まっていくということになってしまいます
解決策
基本は最低限のマニュアル操作で、得たい効果を自動で得れる方法が望ましいのです。
そこで以前の記事（KINDLE73,74巻）でも紹介した方法で情報の整理を行っていました。その際にOCRは0codekitというものを利用していました。
その後キャプチャだけではなく、撮影した写真でも文字起こしができるようにする仕組みも105,106,107巻で実装しました。
その際に 実験的にOCRは0codekitではなくGoogleのGeminiのProVisionというものを利用しておりましたが、それが廃止されたのでその後文字起こしは一時中断しておりました。
やはりスクリーンショットの文字起こし無しでは生きられない
しばらくは文字起こしの自動化を中断しておりました。しかし、久々スマホのアルバムを見直しているとScreenshotフォルダで再利用されずに眠っている写真がこの2-3ヶ月でもかなり溜まっておりました。
これでは情報の利活用ができていないということで、改めて設定し直しをしようと。
AI by Zapier優秀です
せっかくなら以前使った0codekitではない方法で行ってみようと思いました。今回はの実装の流れは
【手動】スマホでスクリーンショットを取る
【自動】自動でJpttacloudにスクリーンショット写真が保存される
【自動】Jottacloudに写真が入るとZapierのTriggerが引かれる
【自動】AI by Zapierが写真の中のテキストを認識して抽出するというZapierのActionが行われる
【自動】抽出されたテキストがSlackに送られるというZapierのActionが行われる
要するに 画面キャプチャをしさえすれば自動で写真とともにSlack（別にGmailでもOKなのですが）に文字起こしが来るということです。
設定
この設定が素晴らしいく使いやすいのです
【Initiate prompt assistant】をクリックするとAIの設定画面に行くのですが、希望する動作（今回であれば「画像の中のテキストを抽出して下さい」）を入力して「Generate Prompt」をクリック
そうすると自動でこのようなPromptを作ってくれるのです。そして「！Image Data」というAlertがでているところに右上の「＋」をクリックして
JottaCloudの「File Url」を選んで下さい
そして下の「Continue」をクリック
そして「Test Step」をクリック
そうすると文字起こしの結果が返ってきます。
あとはKINDLEを参考に
上記で紹介しました73,74巻または105,106,107巻で詳細がありますので
今日はここまで
今回はAI by Zapierに本当に感動しました
（再掲）とにかく試してみよう！
ChatGPTやCopilotやGeminiでは無料で試せるものがありますのでまずは触れてみてください。
目的は一般のAIを使うことでメリットやデメリットや使い分けの理解が出来て、医療AIでも結局そういったケアをしながら使うことでメリットが大きくなり、悪くないんじゃないという理解をされる先生方や医療機関が増えることが大切だと思うのです。
（再掲）AIと間接民主主義
これはMAPIのメンバーの言葉で感動したものです・
「データを提供していなければ、AIはその施設の特性を無視して判断するように、基準が作られていきます。学習データを提供することで、間接的に、自分たちの医療判断や患者層を基準に取り入れさせるという意味では、間接民主主義みたいだなと思いました。」
そういった意味でデータを提供してくださいということも大切ですが、AIを使ってダメさ加減にため息を感じていただくことでデータ提供が更に進むと思います
（再掲）このシリーズの目的は？
医療以外の日常でAIに触れることで、医療AIのデータ流通や医療機関へのAI導入が増え、患者さんケアの向上、医療従事者への負担減少、社会保障の負担軽減、医療レベルの上昇などにつながるというマクロ視点でのミッションと考えます。
NYAUWの活動リンク
KINDLE出版
いいなと思ったら応援しよう！
