見出し画像
Photo by ai300lab

【生成AI月例短信2024年9月】OpenAI o1, Llama 3.2

ai300lab

2024年9月の気になる変化を書き留めておきます。備忘録でもあります。


大規模言語モデル

  • OpenAIからo1-preview, o1-miniがリリースされました。推論を強化しています。IQ120レベルという報道もあり話題になっています([fragai])。個人的には事前学習をするだけでなく、推論時にも計算資源をかければかけるだけ精度が上がるというのが新鮮です。また、言語ではなく推論トークンで学習しているところもギアチェンジを感じます。

  • MetaからLlama 3.2がリリースされました。画像認識が加わりました。言語を扱う部分はLlama 3.1とコンパチでそのまま入れ替えられる設計になっています。

数学的基礎

  • Google DeepMindがTransformerの問題解決能力についての論文を発表しました([arxiv])。CoT (Chain of Thoughts: 思考の鎖）を使えば、定数の深さのTransformerが中間段階で生成されるトークンに比例した問題解決能力があることを示しました。トークンを無限に生成すれば無限に解けるということです ([ai-papers])。

資金調達

  • OpenAIが65億ドルの資金調達を交渉中です([cryptpolitan])。NVIDIA、Microsoftなどが交渉中です。日本ではソフトバンクも参加していると報道されています。Appleは降りたようです。この件は8月短信にも書きましたが、8月の参照記事では企業価値1000億ドルだったのが、1500億ドルになっています。東京証券取引所上場企業で比較すると勝てるのはトヨタだけになりました。（その後、2024年10月3日報道で資金調達は完了し時価総額1570億ドルとのことです ([bloomberg]）xAIが5月に60億ドル調達している([bloomberg2]) のでそれと同規模の資金調達でした。

参考文献

いいなと思ったら応援しよう！