要約「JDLA緊急企画！「生成AIの衝撃」～ ChatGPTで世界はどう変わるのか？～」

2023年3月9日 23:05

スケール則、学習データ増やせば性能が上がる
gpt3で学習に数十億円
gpt3ですごいことは研究者たちはわかっていた、chatGPT出現
facebookよりinstaよりtiktokより最速で普及
- 1億人のユーザ
- 世界で活用方法を探している
- 学校：chatGPTで宿題禁止、論文：chatGPTで投稿禁止
なぜ流行っているか
- 炎上しないつくり
- 技術の蓄積＋ソーシャルな相互作用
検索がなくなる
officeの製品がすべて変わる（MS有利
炎上しないようにトレーニングで〇×をつけている
- 〇×のつけ方で業界特化につかえる
壁打ちに使いたい
いっぱい使おう
すごいことがおこっている
- double desenct、grokking：過学習後の精度向上
プロンプトが大事（再学習、ファインチューニングは大変
- 再学習
- ファインチューニング
- プロンプトエンジニアリング
思考連鎖を使おう（chain of thought
- Let’s think step by step
- 大規模モデルじゃないと発現しない（原因不明
- 外部知識との接続
- GPT Blockly by Zelpm
ワイゼンバウム症候群
- LLMにも限界があるはず
いろんな倫理問題が
- 著作権
- 肖像権
ネット上にはゴミ記事がたくさん増える
- 学習データにゴミが混ざる
- 人間の記事が重要になる
  - 有料
  - 高額になるはず
とにかく、まずはみんなで使ってみよう

要約「JDLA緊急企画！「生成AIの衝撃」～ ChatGPTで世界はどう変わるのか？ ～」