【生成AI月例短信2024年7月】GPT-4o mini, Llama 3.1

2024年7月の気になる変化を書き留めておきます。備忘録でもあります。

基盤モデル

• OpenAIがGPT-4o miniをリリース。大幅な低価格化と高速化を達成。コストでは他社の軽量モデルをしのぐ優位性を発揮 ([wired])。低価格競争でもOpenAIが攻勢。

• MetaがLlama 3.1 405Bをリリース、一世代前のGPT-4を超える性能を持つ4050億パラメータのオープンソースモデル ([itmedia])。

論理的思考

• Google DeepmindがAlphaProofとAlpha Geometry 2で数学オリンピックの銀メダル級の数学能力を達成([wired2])。

自律ソフトウェア開発エージェント

• 商用のAmazon Q Developer AgentがSWE-bench フル19.75%で新記録を達成。CodeStory Aide + Mixed Modelsが SWE-bench Liteで43.00%を達成 [swebench]。

むすび

DeepMindの数学証明エンジンAlphaProofが幾何学エンジンAlphaGeometry 2との合わせ技で数学オリンピック銀メダル級を達成しました。まだまだAIは人間にかなわないと言っている人も多いですが、いつまでゴールポストを動かし続けられるのでしょうか。
MetaのMark ZuckerbergがNVIDIAのJensen HuangとのSIGRAPH2024の対談でH100を60万個買ったと言っていました ([nvidia])。買わないより買いすぎたと言われるほうがましと公言していますが、Llama4に向けてBlackwellは何個買っているのでしょうか。まだまだデッドヒートは続きそうです。

参考文献

• [itmedia] Meta、無料で商用可の「Llama 3.1」リリース　「世界最大かつ最も高性能なオープンモデル」　https://www.itmedia.co.jp/news/articles/2407/24/news096.html 2024年

• [nvidia] AI and The Next Computing Platforms With Jensen Huang and Mark Zuckerberg　https://www.youtube.com/watch?v=w-cmMcMZoZ4　2024年 58m37s

• [swebench] SWE-bench swebench.com 2024年

• [wired2] 数学の難問を解くGoogle DeepMindの「AlphaProof」は、AIの“弱点”を克服できる可能性を秘めている https://wired.jp/article/google-deepmind-alphaproof-ai-math/ 2024年

• [wired] OpenAIが「GPT-4o mini」を発表、小型AIモデルで低コスト化を加速　https://wired.jp/article/openai-gpt-4o-mini/　2024年