見出し画像

【GPTs】日本語メニューを読み取って表形式で出力するGPT!手書き文字と印刷文字の両方に対応



はじめに - GPTsに日本語文字認識能力がキタ!

OpenAIが大型アップデートを行いました。
GPT-4 omniという高性能フラッグシップモデルが実装されました。
それと同時に、画像認識において、日本語が認識されるようになりました。
数日遅れてGPTsにもその機能が実装されたので「日本語メニュー読み取りGPT」を開発し、公開しました。
印刷文字のメニューはもちろん、 手書きメニューまで正確に読み取ります。
ぜひ、レストランや居酒屋に行ったときに試してみてください。
ChatGPT Plusユーザーであればすぐに無料でご利用いただけます。 

事例1:印刷文字メニュー

人間でも読み取りが厳しいレベルだが
本来は表形式で出力する仕様、今回はnote向けに箇条書きで出力しています。


以下は、構造化した箇条書き形式のランチメニューです。

メニュー

  • 海老とアボカドのサンドイッチプレート

    • 説明: 海老とアボカドのサンドイッチ、にんじん、ベジタブルスープ

    • 価格: 1,290円

  • クロックムッシュランチ

    • 説明: クロックムッシュ、にんじん、サラダ、スープ

    • 価格: 1,290円

  • クラウトハイムのサンドイッチ

    • 説明: クラウトハイムのサンドイッチ、にんじん、サラダ、スープ

    • 価格: 990円

  • ブイヨンのサラダランチ

    • 説明: サラダ、パン

    • 価格: 1,190円

  • グランベジタブルプレート

    • 説明: グランベジタブルプレート、にんじん、サラダ、スープ

    • 価格: 1,190円

  • リゾットランチ

    • 説明: リゾット、小皿

    • 価格: 1,390円

DRINK & DESSERT

  • コーヒー(HOT/ICE)

    • 価格: 350円

  • 紅茶(HOT/ICE)

    • 価格: 350円

  • グラスワイン(赤・白)

    • 価格: 550円

  • ビール

    • 価格: 650/750円

  • 飲み放題

    • 説明: お好きなワイン7種(泡・白・赤)+70分飲み放題

    • 価格: 1,290円


事例2:手書き文字メニュー

(引用元)UnsplashKevin Borrill氏撮影

以下がメニューの内容を構造化した箇条書き形式です:

  • 冬のおすすめ

    • 梅水晶 - 500円

    • セリと塩昆布の小皿和え - 400円

    • カキフライ - 880円

    • 青ノリの焼き餅 - 600円

    • 炙り〆さば - 880円

    • 牡蠣フライ - 880円

    • 大根カマ塩焼き - 700円

    • 鶏だしおでん七種盛り(はんぺん、たまご、大根、ごぼう天、こんにゃく、厚揚げ、牛すじ) - 900円

  • 刺身

    • 鰤(ぶり)お刺身 - 700円

    • 鰤(ぶり)かま塩焼き - 700円

    • 鰤(ぶり)ふぐ唐揚げ - 900円

    • ふぐ金平煮 - 880円

    • 黒毛和牛 - 1,800円

    • 牛すじ大根 - 800円

    • 和牛肉じゃが - 700円

    • 鶏だしおでん七種盛り - 900円

  • 揚げ物

    • メンチカツ - 500円

    • カリカリフワーチーズ大根 - 600円

    • もち明太チーズ焼き - 500円

  • 刺身

    • 生本まぐろ - 1,200円

    • とろたく巻き - 800円

    • 四種盛り - 1,200円

  • 刺身盛り合わせ

    • 春屋鬼盛り - 1,980円

ご不明点や修正箇所があれば教えてください。

なぜ日本語メニュー読み取りGPTを作ったか?

先日、インスタグラマーとお会いしたときに、何が1番悩みかと聞いたところ、 レストランなどで映える写真をアップする際に、 メニューを書くところだと聞きました。

なんとインスタグラマーは、掲載する料理写真の名前や価格などの情報をメニューからスマホで手入力で転記しているそうです。
これがいつも時間がかかって辛いとのこと。

それをなんとかしようと思って、GoogleのCloud Vision OCRなどにGPTのActions機能でつなごうかと思っていたところ、この日本語認識機能アップデートがあったので、今回このGPTを作り公開しました。

まとめ

日本語の文字認識対応は日本人ユーザーにとっては助かりますね。
別のターゲットユーザーとしては、日本にインバウンドで来日した外国人観光客に使ってもらうことを念頭に置いています。
日本のレストランでメニューを読めないときに、このGPTでまずは日本語を読み取ってもらい、そこから自分の母国語に変換してもらうことを想定しています。

日本語認識対応で、ますますGPTの用途は拡張しました。
いろいろアプリを作っていこうと思います。
ぜひ、このGPTを使ってみてください!

【重版決定】ChatGPTをカスタマイズして作るAIアプリ

ChatGPTのカスタマイズアプリGPTsを自分で作って世界に公開したい方はこちら!プログラミングは不要です。

この記事が参加している募集

この記事が気に入ったらサポートをしてみませんか?