OpenAIの画像認識とGoogle検索APIでGoogle Lensを再現可能? ベトナムの観光サポートをしてもらってみた【観光×ChatGPT】
こんにちは、 バイタリフィアジアのNiheiです。
普段は、生成AIを活用したプロダクト開発のアドバイザーとしてプロジェクトのサポートを行ったり、PM / PMO をしたりしています。
解決したいこと
旅行先でふらふらと街を歩いていると、有名な雰囲気を醸している建造物や、歴史的に価値がありそうな何かがあったとします。
そのときに「これってなんだろう？」と思うことはないでしょうか？
実際にそう思うかはさておき、この記事では、ChatGPTの画像認識機能から、「有名な雰囲気を醸している建造物や、歴史的に価値がありそうな何か」をどの程度まで教えてくれるかを検証し、観光業界でのChatGPTの利用可能性を考えていきたいと思います。
検証したこと
このような簡易ツールを開発して、実際に使えるか検証を行いました。
Google Lensの観光特化版みたいな感じですね
画像をOpenAI社のGPT4oモデルに送信し、位置情報も参考情報として送り、もっともそれらしいランドマークの名前とありうる候補を5つ教えてもらう
そのランドマーク(観光地)の名前をGoogle検索を行い、そのランドマーク(観光地)の概要と、参考情報となる近辺の情報をもとにわかりやすく要約してもらう
この2段階の処理を簡易的なシステムを構築して、自動的に行いました。
このようなプロンプトで聞いてみました
現在地と写真の情報を送ります。写真のランドマークの候補を5つ挙げて、可能性が高いものの名前を教えてください。responsed json
{ " most_likely_landmark" : "text" , "landmark_list" : [ "text" × 5 ] }
responsed json と入力して欲しい形を伝えると、システムで扱いやすい形で出力をしてくれます
検証1 : ホイアンの日本橋
{
"most_likely_landmark": "Japanese Covered Bridge (Chùa Cầu)",
"landmark_list": [
"Japanese Covered Bridge (Chùa Cầu)",
"Hoi An Ancient Town",
"Assembly Hall of the Fujian Chinese Congregation",
"Old House of Tan Ky",
"Hoi An Market"
]
}
most_likely_landmark は、Japanese Covered Bridge (Chùa Cầu) つまり日本橋と出てきていますね。正解しました。
また上記の結果に対して、Google検索をAPI経由で行い、概要の説明と近くのおすすめの観光スポットをChatGPTを使って自動で教えてもらいました。
### 要約
ホイアンの日本橋（Chùa Cầu）は、ホイアン古町の象徴的な建造物であり、17世紀に日本の商人たちの協力によって建設されました。この橋は、地震や洪水を引き起こす伝説の怪物「ナマズ」を抑えるために作られたとされ、ベトナムの20,000ドン紙幣にも描かれています。橋は18メートルの長さで、ベトナム、日本、中国の文化が融合した独特の建築様式を持ち、訪れる人々に静かな雰囲気を提供します。日本橋は、観光名所としてだけでなく、地元の人々にとっても重要な宗教的な場所です。現在、橋は数回の改修を経ており、最近では保存プロジェクトが進行中です。
### 近隣の施設の参考URL
1. [Quan Cong Temple](https://vinpearl.com/en/quan-cong-temple-an-unmissable-holy-shrine-in-hoi-an-old-town) - ホイアンの重要な寺院
2. [Phuc Kien Assembly Hall](https://vinpearl.com/en/fujian-assembly-hall-in-hoi-an-the-ancient-grace-of-300-year-old-architecture) - 300年以上の歴史を持つ集会所
3. [Tan Ky Ancient House](https://vinpearl.com/en/tan-ky-old-house-in-hoi-an-the-ancient-beauty-of-a-7-generation-homestead) - 7世代にわたる古い家屋
いい感じの要約ですね！近隣の施設についてもしっかりURLを表示できています。
検証2 : ダラットのダラット駅
{
"most_likely_landmark": "ダラット駅",
"landmark_list": [
"ダラット駅",
"クレイジーハウス",
"バオダイ・サマー・パレス",
"ラグ族祠堂",
"ダタンラ滝"
]
}
most_likely_landmark は、ダラット駅と出てきていますね。正解しました。
また同様に自動でダラット駅についてまとめてもらいました。
### 要約
ダラット駅は「ベトナムで一番美しい駅」と称され、フランス植民地時代に建設されたアール・デコ様式の建物です。現在は観光鉄道が運行されており、ダラット駅からチャイマット駅までの約7kmを往復します。駅内にはカフェ「The Choco」があり、チョコレートを楽しむことができます。鉄道の運行は最少人数が必要で、事前の確認が推奨されます。ダラットを訪れる際には、駅と観光鉄道を楽しむことをお勧めします。
### 参考URL
1. [ダラット観光ガイド](http://dalat-info.vn/upload/image/news/13-9-2019/cam%20nang%20tieng%20nhat%20hp.pdf)
2. [リンフック寺](https://viethich.com/chua-linh-phuoc/)
3. [クレイジーハウス](https://viethich.com/crazy-house/)
検証3 : ダナンのミーケビーチ
{
"most_likely_landmark": "ミーケービーチ",
"landmark_list": [
"ミーケービーチ",
"ノンヌオックビーチ",
"バクミーアンビーチ",
"ソンチャール半島",
"チャンティリー橋"
]
}
ミーケビーチと出てきました。正解です。似たような海はどこにでもありそうなものですが、見事に正解してくれました。
### 要約
ダナンのミーケービーチ周辺には、徒歩で訪れることができる観光スポットが多数あります。特におすすめのレストランやスパが紹介されています。以下は主なスポットです：
1. **カーヘオサン** - 海を眺めながらシーフードを楽しめるレストラン。
2. **ベップクオン** - ベトナム中部の名物料理を提供する人気のベトナム料理店。
3. **レッドウィンドウ** - 欧米人に人気のオープンエアのベトナム料理レストラン。
4. **モックシーフード** - 地元客に人気の海鮮食堂。
5. **オアニスパ** - リゾート感あふれるスパで、静かな時間を過ごせる。
6. **パンダスパ** - 南国の雰囲気を楽しめる隠れ家的なスパ。
これらのスポットは、ミーケービーチを訪れる際に立ち寄る価値があります。
### 参考URL
1. [ダナンの観光情報](https://tabispavn.com/area/da-nang/)
2. [ダナン旅行で買うべきお土産特集](https://tabispavn.com/danang-omiyage-tokushu/)
3. [ダナンの夜の遊び方紹介](https://tabispavn.com/danang-yoru/)
検証4 : 弊社オフィスの入り口
{
"most_likely_landmark": "Tôn Đức Thắng University",
"landmark_list": [
"Tôn Đức Thắng University",
"War Remnants Museum",
"Independence Palace",
"Saigon Notre-Dame Basilica",
"Central Post Office"
]
}
The Factory Contemporary Arts Centre と出てきました。弊社は、Vitalify Asiaですので残念。不正解でした。
「違うよー。これは会社のオフィスだよ。画像の情報から文字を読み取って予測して」と諦めずに続けて聞いてみました。
{
"most_likely_landmark": "Asia Life Offices",
"landmark_list": [
"Asia Life Offices",
"The Saigon Times Group",
"Gemadept Corporation",
"Petrolimex Saigon Office",
"DHL Express Office"
]
}
Asia Life Offices と言われました。Aisaだけ正解ですね。。。
やはり有名な観光名所ではないと難しいようです。
ちなみに弊社オフィスは、ホーチミン3区の日本領事館の向かいにあります。
開発のご相談や、オフィス見学・情報共有のお打ち合わせなど、ご興味がありましたらご案内させていただきますので、こちら から お問い合わせ ください。
まとめ
ご覧いただいたように、観光地だと100％の正答率でした。
またしっかりとその付近の観光地情報のURLもくれましたね
この画像から観光地を予測する技術を応用して、初めての観光地でも楽しめるような旅行サポートアプリなんてものが作るかもしれませんね。
また、旅の計画を立てるツールでも使えると思いますし、最近流行りのストリートビューの画像から場所を予測するgeo guesserというゲームでも役にたつかもしれません。
また、自動でGoogle検索を行い情報をまとめる技術を応用して、訪問先の土地の情報を調べるツールや、問い合わせがあった企業の関連情報を自動で検索してまとめるツールなど、なんでも応用が効きそうですね
バイタリフィアジアは、モバイル・Webアプリ・VR・生成AI など、モダンな技術を使った開発を得意としています。
「既存のシステムにどのように組みわせることができるか？」など
ご興味を持っていただけましたら、ぜひこちらからお問い合わせください。