"ChatGPT IN ACTION 実践で使う大規模言語モデル"参加レポート
はじめに
猫も杓子もChatGPTな昨今ですが、そんな中でもいち早く業務に活用している方々のLT大会が開催されるという情報をキャッチしました。ドラえもんの映画のプロットを考えて、みたいなお遊び要素でしか使ってない私としてはとても興味深い。というわけで参加してきました。
APIとして実践で組み込んでいく、という話をしていく。
実践に組み込むにはいろいろと工夫が必要。いちはやく実践に取り入れた会社からいろいろ聞いて取り入れちゃおう、というのが今日の主旨です。
自然言語によるシェルコマンドランチャー wanna の紹介
トップバッターはChatGPTがリリースされて3日後くらいに下記の記事を投稿した広木さん。
wannaのデモでは、対話的にスクリプトを改良していく様子を見ることができました。
エラーが出たら自動で反省し修正！
「意思決定だけ人間にやらせる、がコンセプトです」と語る広木さん。
GPTのすごさはNLPの民主化
デモのあとは実際のpromptを表示しながら解説がありました。プロンプトの能力は英語の方が日本語よりやや高いとのことでwannaは英語で指示を行っているのですが、ユーザーへの応答は日本語で対応する、というような対応も入れているようです。
これはなかなかすごい。ソフトウェアの多言語対応の大変さは、触れたことがある方ならわかるかと思います。そもそもの言語への理解、翻訳の大変さ、それをプログラミングに落とし込む・・・といったところがごっそり、ChatGPTに任せられてしまう。
すべての人がAIをマネジメントするマネージャになる。
こういう未来は本当にそこまでやってきてます。技術を手放した元エンジニアのマネージャーにとってはなかなかにワクワクする時代ですね。
ChatGPTを活用した「AI組織改善アドバイザー」開発の裏側とプロダクト実装の工夫
お次はリンクアンドモチベーション梅原さん。
「After GPTの時代ではUnlearnが重要です」と語ります。
アンラーニング
これまでは構造化するという前提があったが、After GPTではそうではない。
社内で眠っていた構造化されていないナレッジが、機能開発で使えるものになった。
明示的なデータやロジックの設定から、暗黙の前提を言語化して出力をコントロールするようになっていく。バリデーションも、ロジックではなく自然言語として渡せる。
網羅的なテストから、自然言語データに基づくランダムテストへ。そもそもブラックボックスになるので必然的にそうなる。
本当に、これまでの前提が通用しなくなってきていると感じました。MLを活用する段階でその一端は見えていたものの（テストのくだりなど）、そういったチラ見せしていた未来がいきなり全52話フル公開で眼前に登場した感じです。
Chat GPTを活用したプロダクトのリリースと今後の展望
お次はグロービス経営大学院の松原さん。
「個人の能力には限界がある。だけど他の人と協力して一人では生み出せないアウトプットを出すことができる」というGREE藤本さんの言葉が座右の銘。さすが藤本さん！
Chat GPTのAPI公開のインパクト。安価で、精度が高い。実サービスで使える。
https://chatgpt-lab.com/n/nda0de0be1774
超速でのサービスリリース
これを活用し、グロービスはGAiChaLをリリース。なんとChat GPT APIのプレス翌日にリリースしたとのこと！
利用するにあたっての利用規約の策定など、実装以外にもやることがあるなかでの翌日リリースは本当に驚異のスピードだと思いました。
みんなの知恵を集める
「スピードが早いのはわかった。だからこそ企画の良し悪しを評価する仕組みが必要。」
これは従来型の開発でも必要なものですが、開発が相対的に軽量化することでそこに割く労力の比率が飛躍的に高くなるんだろうな、と想像しました。
「個人の能力には限界がある。だけど他の人と協力して一人では生み出せないアウトプットを出すことができる」。広木さんがいう「NLPの民主化」が何をもたらすかっていうと、これに尽きるんでしょうね。
ChatGPT利用サービス開発でわかったAIとの接し方
次はファインディ笹野さん。
ファインディさんは「ChatGPTエンジニアキャリアまとめβ」をリリースしてましたね。
キャリアを丸っと要約し、二つ名が付く機能。
効いたプロンプト3選
人間側のイメージを前提として伝える
この文章を、以下の出力フォーマットに従って要約してください。全体の文字数は○○文字でお願いします。・・・
人間がどう感じるのか?を指定する
人間が読んで面白いと思うように書き換えてください。
リクエストの2度漬け
複数回に分けて投げる
1度目「以下の文章を〜要約してください」
2度目「要約後の文章として不適切な表現は修正してください」
効かなかったプロンプト3選
「〜しないで」「〜はやめて」など否定させる命令
「書き出しの挨拶は不要です」などで改善
「絶対」「必ず」など強制させる命令
一回だけ、など具体性をもたせると改善。
数値に対する抽象的な表現
なんだか人間っぽいなーと思ってたら、笹野さんも「人間とやりとりしているかのような感覚」とおっしゃってました。
人には雑に接してるのにChatGPTには丁寧に接しているエンジニア、けっこういそうですね。
「ノウハウが陳腐化する速度が驚くほど早い」ー。これはそのとおり。けれども、そういった情報をも楽しみたい、と笹野さん。そういったマインドセットこそ、これからの時代には必要ですね。
ChatGPTとwhisperを使ったプロトタイピングと今後の展望
次はROXX松本さん。
求職者を支援する事業。ChatGPTを使って人にしかできないことに注力してもらうことで支援の好循環を実現する。それを実現する事例としてWhisper x ChatGPTでの履歴書・職務経歴書を一緒に作成するプロセスの効率化について紹介されてました。
さまざまなメリデメが紹介されてましたが、「プロンプトでチューニング可能なのでユーザサイドでPDCA回せる」というのはやはりインパクトが大きいですね。
薄いUIとSoR
薄いUI⇔ChatGPT⇔SoR。UIとSoRの間にChatGPTが入る。
この場でSoR(System of Record)という言葉が出てきて驚きました。たしかに既存のSoRがあるなら、それを使わない手はないですよね。ChatGPTを使う→何もかも新しい、という固定概念に一石を投じるという意味でとても印象的でした。
そして、広木さんのこちらのコメントにフフってなりました。
パネル
広木さんと松本さん、笹野さんにグロービス染谷さん、リンクアンドモチベーション柴戸さんを加えてのパネルです。
LLMを価値あるものにする上で注意すべきことは?
松本さん
既存事業の延長線上で考えず、ユーザー課題にリフレーミングしていく。(ROXXの場合だと)求職者が何を求めているかから考える。
柴戸さん
逆にアンラーンしないことで活きる部分もある。要件定義やテストなどはアンラーンしなければいけないところ。
染谷さん
エンジニアはなるべく楽したい。そこが価値につながる。リスクも見極めながら、発散と収束を繰り返していく。そうすることで世の中がよくなっていくのでは。
広木さん
発散と収束でいうと人間がやっていた部分とデザインパターンが融合していく感覚がある。
笹野さん
ユーザーにアウトプットを返す前にステップを挟む、というのが大切ということに取り組みを通して気づいた。
LLMを使っていくにあたって、関係者のセット区で大変だったことはありますか?(AIに関する誤解など)
松本さん
(品質の低い)β版の時点で「価値がないのでは?」と判断されてしまったりする。(周囲の)リテラシーにあわせて公開するなどが必要。
広木さん
試行錯誤する環境が大事である反面、最初のプロトが微妙だと熱量が下がっちゃうのはありますね
染谷さん
まず代表がこれを出すんだ感をもっていた。それが追い風になっていた
人間のプロとChatGPTのせめぎあいは大変そうだった
柴戸さん
一定のクオリティは自分たちで確認
スタート時点ではポジな人もネガな人もそんなにいなかった
AIという言葉よりWhyにあたる提供価値。そのうえでビジネスとGPTの相性の良さを説明していったという流れ
笹野さん
エンタメ寄りから始まった。2/24のタイミングでプロダクトマネージャーがChatGPTを使ってみよう、となった。既存の広告費と比較して経営判断したという経緯がある。おかげさまでトレンド入りして、取り組んでよかった
今後のUI/UXにChatGPTはどんな変化をもたらすと思いますか?(chatgpt pluginなどのAI最適化など)
染谷さん
難しい。(表面のUI/UXではないが)DB間のよい探索の仕方をGPTに探してもらい、結果としてUI/UXが劇的に向上とかありえるかもしれない。面白いことしかない。
広木さん
サービス間のインテグレーションも変わりそう。
松本さん
薄いUIというのは1つある。(ChatGPTは)問い方1つで品質に大きな違いがあるので、人によってはめんどくさい。怠惰なUXが今後でてくるのではないか。裏側をつくることがサービス提供者の価値になっていく。
広木さん
wannaをつくるときにも「めんどくせーな」という部分があったw
わからない部分があったらAIの側から聞いてくれるようになって対話的に進んでいくのが、究極的には楽なんだろうなと思う
笹野さん
しばらくは検索とパラで走り続けるような気がしている。AIのアウトプットにどこまで信頼をおけるか?という課題はある。
柴戸さん
会話型、音声などは一定数増えていくのではないか。多言語対応もすごく楽になりそう。あと省力化も進んでいきそう。
AI倫理やプライバシーの議論をどう捉えていますか?
広木さん
出自も本気度も不明だが、AIの開発を止めたほうがいいのではという署名のニュースもでてきている。
笹野さん
難しい問題。個人でも会社としてもそう。預けたデータは学習に使われるのかという情報漏えい観点の議論とリスク管理は、会社としてひとつ正しい形。そこまで気にする必要はないという意見も理解できるものではある。
松本さん
ユーザーのデータを雑に獲得しておく（非構造化データで保持しておく）、というのはChatGPT的には得意なところだが、プライバシー観点での取り扱いが難しい。個人情報をマスキングする技術と組み合わせるような取り組みは必要になってくる。
柴戸さん
事故ったらどこが責任持つの?というのはある。最後の意思決定は誰が行ったのか、だったり納得感を生んだり、抽象的なステップには踏み込んでいく必要がある。
UI/UXは省略したい想いがあるが、実はそういうプロセスがビジネスには必要なのかもしれない
染谷さん
(大学院で)ChatGPTを使ってレポートを書こうとする人がいる。騙される人も騙す人も出てくるというのは大事な論点。
ChatGPTはApp Storeのように新たなプラットフォームになりえるか
笹野さん
個人的な感想としてはまだそこまでにはなりえない、という感覚がある
松本さん
プラットフォームになる気はするが課金にはつながらないのでは。lang chainでつながっていくようになる。結局Open AIが儲かるんだけど、そこでは儲けないのでは。
広木さん
SEOの延長線上にあるChat Optimizationみたいなのは起こりそう。Bardの仕様がどうなるか。
染谷さん
松本さんと同じ見解。金が儲かるかどうかでそこに人が集まるか変わる。
ChatGPTを活用したこういうサービスが欲しい！というのがあれば教えてください
この質問には意外にも沈黙。広木さんの「あったら作ってる？」のコメントが的を射ているなと感じました。
広木さん
雑になげたらちゃんとした文章にしてくれるものはほしい
AzureのOpenAIと素のOpenAIを使ったときのセキュリティ面での違いを知りたいです
これは知りたい！
広木さん
社内での話の通しやすさはAzure。自分は素で使ってる
松本さん
Azureは可用性が高い。
柴戸さん
今は素で使ってる。SLAを担保しようとかなってくると、Azureに寄っていくのではと考えている
実際にサービスをリリースしてみて、現時点で1番chatGPT APIに感じる課題点は何ですか
笹野さん
トークン数の制限。レスポンスもまだ遅い。
広木さん
並列で投げられたらいいことはけっこうありそう
松本さん
自前でリトライ処理を挟んでたりする
事業側がGPTを使ったプロダクトを提供するとき、「アウトプットにどこまで責任を持つか」を考える必要があると思いますが、意見があれば教えてほしいです。
松本さん
いまは責任持てる範囲で公開してます、という状況
柴戸さん
期待値を調整するという前提はある
（自社では）ステップバイステップで進めて、としている
（染谷さんからの「調整のバランス軸は？」という問いに対して）明確な軸というのはない。危険なところでいきなり使わない、というのは心がけている。
染谷さん
「教える」みたいなニュアンスで使うとリスクが高い。「学びを促す」というスタンスだとリスクが低い。便利なものをどの方向で使うか。
感想
冒頭から「こいつら未来に生きてんな」感満載の、とても刺激的なイベントでした。感じたことをざっくりまとめると、こんなかんじです。
ChatGPTは自己学習のようなことができる(wanna)
ゼロから生み出したサービスが凄まじいスピードでロンチしている(今回でいうと最短1日)
アンラーンは必須
昨日のノウハウが今日は陳腐化する世界だが、それ自体を楽しみたい
とはいえプロダクトで活用するには、慎重になるべき部分もある。自分たちがこれまで蓄積したナレッジや経験と向き合うことも大切
ChatGPTが発表されてからこっち、ずっとシンギュラリティ真っ只中の世の中を生きているという実感があります。今日はそんな中で流れに乗りゴリゴリに実用化している人・企業の話がたくさん聞けて大満足です。
特に、先進的に活用している企業であってもいきなりハレーションがあるようなところに適用しているわけではない、というあたりは生生しかったです。（実際に自分たちが活用しようとしたときに同じような議論が起きるだろうと想像できる）
このイベント自体楽しかったですし、あらためて大きなうねりの中で今を生きていることは本当にラッキーだな、って思いました。