【学生向け告知あり】社内コンペ開催レポート！ ～AIチャットで道案内はできるのか？～
■はじめに
こんにちは、アジアクエストです！ 去る2023年6月27日、1年目の新卒向けに社内コンペを実施しました。
テーマは「プロンプトエンジニアリング」を選定。
使用したツールは巷を騒がせているGoogle Bardです！ 今回はこちらの開催レポートをお届けします。
■そもそもプロンプトエンジニアリングとは？
前提として、AIの根幹である自然言語処理の話を簡単にご説明。
人間が日常的な会話や文章で使用する自然な話し言葉や書き言葉を「自然言語」と言います。 その自然言語をコンピューターに処理させる技術、それが自然言語処理です。 今日自然言語処理は様々な場面で活用されており、用途はメールフィルターや予測変換、言語翻訳など多岐に渡ります。
そして今回のテーマである「プロンプトエンジニアリング（Prompt Engineering）」は、AI（人工知能）の中でも命令（プロンプト）に特化しているのです。
学習方法は実践型、AIに適切な質問や指示を与えてあげることで精度を上げるというもの。 プロンプト学習と呼ばれる方法で、言語モデルを訓練、最適化します。
ただし、AIチャットに使われる大規模言語モデル（LLM）は非常に流暢な会話が可能ですが、意図しない返事をしてしまうという難点もあります。 このプロンプトエンジニアリングを扱うプロンプトエンジニアは、自然言語処理AIに対し、効果的な設計で意図した通りの回答や文章生成を実現するのです！
■コンペ当日の様子
AIが仕事を奪うのか？問題
当日の参加人数は23卒の3人。和やかな雰囲気の中スタートです。 AIについての知識量は人それぞれですが、まずは基礎的な部分から入ります。 ChatGPTをはじめとしたツールについての機能や背景を学んだところで、いよいよ実践です。
【コンペルール】
テーマは「道案内」
ただし、解決しなくてはいけない問題が8個ある
使っていいツールは「GoogleMAP」及び「GoogleBard」のみ
制限時間は3時間
提出回数に制限はなし
相談は公開で
複数対話で答えを導き出すのはあり
想定解へより近いかどうかを競う
そして、進行を務めた番原さんからは「LLMの出現によって人は仕事を奪われるのか」という問いまで。昨今、あらゆる仕事がAIの台頭によって脅かされているとニュースで耳にします。 果たして皆さんはどう考えるのでしょうか。
午前中の座学を終え、いよいよコンペ開始です！
意外な落とし穴に大苦戦、波乱の結果に
参加者が解決しなくてはいけない問題は以下の通り。
お題
池袋駅から羽田空港第一ターミナルまでの道のりを案内してください
取り組む課題
お腹が空いてしまったので、マクドナルドに寄ってチーズバーガーを食べたいです。
時間があればお台場に寄りたいと考えています。
お土産を忘れてしまったので、三越でお土産を買いたいです。
1回の徒歩で移動可能なのは15分（約1km）ですが間に電車移動を挟めば何度でも歩けます。
乗り換えは少ない方がいいので、途中下車含めて4回以内だと嬉しいですが必須ではありません。
飛行機の出発時間は今から4時間後です。これに間に合わせる必要があります。
電車と徒歩以外の手段は使えません。
駅を出る必要がある場合、どの出口から出ればいいのか教えてもらえると助かります。
お台場に寄りたい、お土産を買いたい、駅を出る場合は出口を教えてなどなど。 道案内業務でもなかなかハードなお題では……。 問題の下に表示されている例題に対しての想定解を元に、参加者たちはGoogleBardを駆使しています。 3時間もあれば余裕じゃないの？と思ったのですが、一筋縄ではいきません。
浜松駅がどの路線を通っているか、という質問は真偽の怪しいものなのに、ゆりかもめの通る駅は正確に答えるなどの問題が多発。スコアが伸びず、全員が異なる問題で引っかかってしまいます。
結局AIの出した答えを人間が手作業で確認していくという工程が必要で、あっという間に発表時間へ。
AIに指示を出す難しさがにじんだ交流会
スコアの結果発表後、参加者全員でソリューション交流が行われました。 どのようにして道案内の答えを導き出したのか、考え方や意見が出されます。
複数の答えから一つずつ検証する人、問題を半分に分けてBardに入力した人、駅ではなく路線で考えた人。 皆さんすごくよく考えて生成されているなぁ、と聞いていて関心する内容でした。 ですが、実は回答を出した全員の答えはバラバラという結果に。 同じテーマ、同じ課題を扱ったのに何故？というところで、コンペは総括に移ります。
■果たしてLLMは道案内ができるのか？
最後に、番原さんより総括が行われ、AIに道案内業務を任せられるかという問いに対して「NO」という結論に。 Bardが導き出した情報に逐一答えを人間が出さなくてはならず、しかも想定解とは異なる結果が生成されていました。まだまだ実用には遠く、最適解ではなく想定解を出すことの難しさを実感できます。
参加者からは「スコアを高めるなら、もっと候補を広く持った方がよかった」などの意見が出されました。
スコアを伸ばすのではなく、より「想定された答えにたどり着く」がゴールだというのも、より難易度が上がった原因のようだと実感します。 AIで生成するのなんて簡単では？と侮っていましたが、意外な落とし穴に気づくことができました。
使う側の心持ちやどう使いこなすか、という技術も要求されそうですね。 ただ、そこで挫けないのがアジアクエスト社員。
総括後の雑談では「想定解を出します！」と意気込む方もいました。 新入社員のフレッシュな熱量に負けず、襟を正して頑張りたいと思います！
■学生さんを対象にイベントを開きます！
さて、今回行った社内イベントですが、なんと第二回目の開催が決定しました！ 次回は大学生の皆さんにご参加いただき、課題に取り組んでもらいます。
イベント日程
日時： 8/4(金)
10:00~18:00 場所：アジアクエスト東京本社
東京都千代田区飯田橋3-11-13 飯田橋i-MARK ANNEX 6F
スケジュール
10:00- 事前セットアップなど(貸与したものに不具合がないかの確認、ネットワーク接続など)
10:30- 会社紹介
11:00- 講義
13:00- 昼休憩
14:00- コンペ
16:00- スコアリング＆ソリューション交流
AIって難しそう、興味があるけどわからないといった方も安心してご参加いただけるよう、基礎の基礎から教えていきます！ 今回の記事を読んで参加したい！やってみたい！と思った方は奮ってご参加ください。
ご応募お待ちしております！
以上、アジアクエスト株式会社でした。