【比較】RTX4090、RTX4070TiSuper、GoogleColab A100GPUの機械学習速度

割引あり

2024年7月19日 16:12

こんにちわ、AI大好き人間ワンです('ω')
今までGPUは4画面出力できればいいやと言う事で、サブにRTX3050とメインにRTX3060を使用していましたが、機械学習においてCPUでやるより、このGPUでも10倍くらい早かったのでとりあえず満足していました。

ですが、AIオタクとして居ても立ってもいられず

買っちゃいました
サブPCにRTX4070TiSUPER 電源850w
メインPCにRTX4090 電源1200w

※用意するのはGPUだけかと思いきや電源容量もアップしないといけなかったので電源も購入しました。購入する方は電源にも気を付けてください。
価格の参考までにAmazonのリンク張っておきます。

GPUとは

グラフィックカードのことで、主に映像の処理を行うハードウェアです。GPUは多数の小さなコアを持ち、CPUは少数の高性能コアを持ちます。この違いが、並列タスクを行う際にGPUが圧倒的に有利である理由です。

機械学習においても並列処理を行うため、GPUが高い性能を発揮します。

GoogleColabについて

GoogleColabとはブラウザ上でPythonを実行するためのサービスです。GoogleColabは基本無料でT4GPUというGPUが使えますし、月額1200円払えばL4GPUやA100GPUという強力なGPUを使用することができ機械学習のフレームワークとしてとても人気です。
ちなみにA100GPUはとても人気なため、使えないことが多いです。A100が使えないときは自動的にL4に切り替わります。日中はA100使えますが、夜はほとんど使えないように感じます。

課金に関しては、毎月100クレジットを購入するオートシップがあるだけで、GPUを使用する時間によってクレジットが消費されて追加購入が必要になります。

丸一日触ってるとクレジットは50～100クレジットは消費してしまいますので1か月20日触ってるとそれだけで2万円程度使用することがあります。
さらにGoogleColabのGPUの性能がどの程度かGPTに聞いてみたところ。

A100は大規模モデルやバッチサイズが大きいトレーニングにおいて、RTX 4090を大きく上回る性能を発揮します。特にFP16やTF32を活用するトレーニングでは、A100の方が高速です。
RTX 4090も個人や小規模なプロジェクトでの利用には非常に強力ですが、大規模データセットや長時間のトレーニングにはA100が適しています。

ChatGPT-4o

とのことでしたので、GPU搭載してない場合GoogleColabはとても力強い味方ですし、GPU搭載してる場合も、ここぞという大規模学習時にA100GPUをキメている方もいるでしょう('ω')✨（僕もそうです←）

以上のことから、

ChatGPTもお墨付きのA100GPUが使えるなら、わざわざGPU、ましてや4090なんて買う必要ないんじゃないの？

って思われるかもしれませんが、
自分の目で確認するまでは確証が持てませんので
購入を決意したのでした。