LLMの学習ってどれくらいコストがかかるの？

お疲れ様です。

現在、LLMの開発が盛んに進められており、NvidiaのGPUを巡って激しい競争が繰り広げられています。

多くの企業がGPUを必要としているのは分かったのですが、「具体的に、どの程度のGPUリソースを使用し、どれくらいの時間をかけてモデルを開発しているのだろう？」とふと疑問に思っていました。

そんな中，先日参加したAIセミナーでは、以下のように説明されていました。

・GPT-3相当のモデルの場合、A100を約1,200基使用し、30日間
・GPT-4相当のモデルでは、A100を約25,000基使用し、100日間

これらのリソースを用いて、フルスクラッチで開発が行われているとのことです。

最近ではA100に代わりH100が使用され始め、さらにH200やB100といった次世代のGPUも登場しています。そのため、必要なリソースや計算にかかる日数も今後変化していくかもしれませんが、一つの目安として、「GPT-3相当でA100×1,200基×30日」、「GPT-4相当でA100×25,000基×100日」という数字を参考にするのも良いかもしれません。

どのくらい計算資源が必要か、計算にどれほどの時間がかかるかをイメージすることで、日本で確保しているGPUの数が多いのか少ないのかが、より具体的に見えてくるかなと思います。

最後までお読みいただき、ありがとうございました。