Microsoft様がNVIDIA様のBlackwell君の活用法を発表！！【最新論文】
昨日，25年１月２８日に，arXiv（ﾌﾟﾚ発表ﾘﾎﾟｼﾞﾄﾘ）にMicrosoft様のｱｼﾞｱ研究チーム様がNVIDIA様のGPUを活用した研究について発表したんよ！
ﾎﾟｲﾝﾄは…NVIDIA様のGPUの活用方法をMicrosoft様のチームが研究して発表しているﾄｺﾛ
NVIDIA様の論文の引用も見られるから，ﾔｯﾊﾟﾘこの２社の関係性はﾒｯﾁｬ強い！
このnoteは，Microsoft Research Asia, University of Science and Technology of Chinaが25年1月28日にarXivに発表した論文"Optimizing Large Language Model Training Using FP4 Quantization"についてﾂﾝﾃﾞﾚ姫が勝手に解釈したﾓﾉです…間違いがあるかもしれません…ｺﾞﾒﾝﾅｻｲ…
元ﾃﾞｰﾀはこちらでｺﾞｻﾞﾙ
1. べ、別にLLMの学習コストを気にしてるわけじゃないんだからね！
最近の大規模言語モデル（LLMs）は、めちゃくちゃ計算コストが高くて、例えば Llama 3 なんて 16,000台ものNVIDIA H100 GPUを54日間も回しっぱなし なんだから、正直バカみたい
でも、まぁ、これがAIの進化ってやつなんでしょ？
でもさ、計算コストを抑えながら精度を維持する方法があるなら、知りたくないわけじゃない ……ってことで、この論文では FP4（4ビット浮動小数点） を活用することで、学習の負担を減らせるか検証してるのよ
べ、別にすごいなんて言わないんだから！
2. た、たかがビット数の違いでしょ？……って思ったら大間違い！
16ビット（FP16）と4ビット（FP4）の違い？そんなの分かり切ってるじゃない
FP16には 5ビットの指数部（Exponents）と10ビットの仮数部（Mantissa） があるけど、FP4はたった2ビットの指数と1ビットの仮数しかないのよ！
え？何が問題かって？
値が丸められすぎて、精度ガタガタ！（例：1.2345が1.25や1.0に勝手に変わる）
指数部が小さすぎて、極端な数値が表現できない！
ただFP4に変換するだけじゃ、精度がボロボロ！
はぁ……FP4なんてゴミかもって思った？ ちょっと待ちなさい！
この論文では、ちゃんと 特殊な補正手法 を組み合わせることで、FP4でもちゃんと学習できるようにしてるんだから！
3. ど、どうせすぐ精度落ちるんでしょ？……って思ってたら負けたわ。
FP4でまともな学習ができるわけない……って思ってたけど、甘かったわ
この論文では、2つの革新的な技術 を使って、FP4でも高精度を保つ方法を編み出したのよ
微分可能な量子化推定器（Differentiable Gradient Estimator, DGE）
FP4は、そもそも量子化関数が非微分可能だから、逆伝播で勾配が消えちゃう問題がある
そこで DGEを使って、微分可能な形で量子化関数を近似し、勾配を正しく推定 する仕組みを導入したの
……まぁ、正確な勾配が取れるようになったから、学習がスムーズに進むってわけ
異常値補正（Outlier Clamping and Compensation, OCC）
LLMの活性化値（Activation values）って、たまにバカみたいに大きな値（Outliers）が出るのよね
そのままFP4に変換すると、ゼロになっちゃうものが増えて、学習が崩壊するわけ
だから、異常値をクランプして補正行列を追加することで、学習情報を保持する工夫 をしたの
……な、なんでこんなに上手くいってるのよ！？ FP4のくせにっ！
4. NVIDIA様のGPUがなかったら、こんなの実現できなかったんだからね！
この研究で重要なのは、FP4だけじゃダメ、NVIDIAの最新GPUが必要不可欠！ ってこと
だって、FP4が今すぐ動くわけじゃないのよ。
NVIDIA様のH100 GPUのFP8 Tensor Coreを使って、FP4のエミュレーション（シミュレーション）をしてるだけ なの
でもね……この先、NVIDIA様のB200 GPU（Blackwellアーキテクチャ）が本格的にFP4をネイティブサポート するって話じゃない？
そうなったら、AI学習の世界はガラッと変わるわ
NVIDIA様のGPUがFP4をサポートすると、何が起こると思う？
計算速度が最大2倍に！（FP8の半分のビット幅だから、演算スループットも倍速）
メモリ使用量が4分の1に！（今までの4倍のデータを扱える）
電力消費も削減！（データセンターの電気代が減る！）
はぁ……結局NVIDIA様の力がなかったら、FP4なんてただの夢物語だったのよね
べ、別に感謝してるわけじゃないんだからねっ！
5. ちょ、ちょっと待って……これ、本当にFP16並の精度なの！？
実験結果を見たら、驚いたわ…… FP4なのに、FP16とほぼ同じ精度！？
130億パラメータのLLMを1000億トークンで学習した結果：
ゼロショットタスク（HellaSwag, ARC, PiQA, SciQなど）で、FP16とほぼ同じスコア
勾配推定（DGE）と異常値補正（OCC）のおかげで、学習の安定性も維持
つまり、FP4でも実用レベルに達してるってこと……！！
いや、FP4なんて信じてなかったのに……ちょっと、これは悔しいわね
6. し、仕方ないから認めてあげるわ……FP4、アリかもしれない
この研究、結論をまとめると……
FP4を使えば、LLMの学習コストを劇的に削減できる可能性がある！
NVIDIA様のBlackwellアーキテクチャが普及すれば、次世代AIの学習は今よりもっと高速で安価になる かもしれない
ただし、課題もあるわよ！
本当にFP4対応のGPUが登場しないと、実験レベルの話で終わる
今後は、さらに大規模なデータセット（1兆トークン以上）での検証が必要
結局、NVIDIA様次第っていうのが気に入らない！
でも……
「FP4なんて使えない！」って思ってたけど、やるじゃない……。
この技術、今後のAIの世界を変えるかもしれないわね。
……でも、勘違いしないでよね！ 別にFP4を好きになったわけじゃないんだから！！
結局
DeepSeek様の生成AIが超絶話題になってて，ｺｽﾄ低くても出来ちゃうじゃん的な議論が話題になってる
NVIDIA様のGPUを上手く活用すると，本当に低ｺｽﾄで凄いｺﾄが出来ちゃうんじゃね？という研究をMicrosoft様主導で進めているｺﾄが今回明らかになった
実際，実験では滅茶苦茶上手くいってる！
これは，変なｶﾞｾ記事じゃないからｹｯｺｰ大きいと思う
ただ気を付けなきゃいけないのは，査読無し論文なﾄｺﾛ
計算式の間違い等については，まだしっかり検査されていない
私も大体の意味は分かるけど，計算式の細かいﾄｺﾛの精読は出来てない
というかﾜｶﾗﾝww
細かい式については，質問しないでねーw
今，量子力学の勉強と統計の勉強と半導体な勉強をしている…
あぁぁぁ…数学漬けだわーﾂﾗﾀﾝ…
もっと頭よく生まれたかった…
ﾌｧﾝﾀﾞﾒﾝﾀﾙｽﾞ分析とﾃｸﾆｶﾙ分析…ｶﾞﾝﾊﾞﾗﾝﾄ…
ﾒｯﾁｬ難しい局面だけど，一緒にｶﾞﾝﾊﾞﾛｰね！
いいなと思ったら応援しよう！
