コストダウンが進む生成AI
OpenAIが先陣をきってコストダウンするので生成AIのAPI料金は下がる傾向です。
生成AIのAPIのコストダウン
OpenAIのAPIコストは以下の通りです：
GPT-4からGPT-4o miniまで1年半で入力は 1/200、出力は 1/100になっています。精度があがってこの結果です。実質的なコストパフォーマンスはそれ以上の比率になっています。
GPUの寄与
NVIDIAがすさまじい勢いでGPUを進化させているので、それもコストダウンに寄与しているかもしれません。
しかし、NVIDIAのBlackwell GPUの出荷は遅れているようです。春にJensen Huangが自らOpenAIにBlackwellを納品したという記事でOpenAIの計算基盤はBlackwell化していると思い込んでいました。量産が進んでいないのだからOpenAIあるいはMicrosoftの計算資源が1日にしてBlackwellになるわけもないのでした。
そうなると、100倍から200倍のコストパフォーマンス向上はモデルの向上によって得られたものと考えることができます。
もちろん、複数のエキスパートモデルを利用し、個々のエキスパートモデル自体を小さくするというようなことは行われていると思います。
いずれにせよ、これから性能比30倍のBlackwell GPUが本格出荷すれば、その分もコストダウン競争に乗ってい来ると考えるとすさまじいものがあります。
今後1年半にさらにコストダウンが進むことが予想されます。
コストダウンの副産物
従来は事前に大規模な学習を行えば、あとはフューショットラーニングで柔軟に問題に対応できるのが基盤モデル（大規模言語モデルなど）の特徴でした。
Googleの論文([Snell]) によって、答えが出てからも答えがあっているか考えることによってさらに精度が上がることが示されています。
このため、コストダウンすれば、答えが出てからさらに考えることに計算資源を追加投入できるのでモデルを改変しなくて精度を上げられる可能性が出てきました。
コストダウンで試験もしやすくなるので研究を加速する効果もあります。
むすび
生成AIが進化することに慣れきっていますが、コストパフォーマンス向上だけとってみても異常ともいえるほどの進化です。
性能、コストダウン、エコシステム、いずれもどうなるか興味深く見守っていきたいと思います。
参考文献
[Snell] Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters by Charlie Snell, et al https://arxiv.org/abs/2408.03314 2024年