量子化と低精度化についてのイメージ
この記事では、量子化について簡単に説明します。ご意見やご指摘があれば、コメント欄でお知らせください。
まず量子化とはなんでしょうか
量子化はモデル圧縮の手法の一つであり、モデルのパラメータやアクティベーション、勾配などを低bitで表現することです。
私は正直この説明ではわからなかったので
自分なりに噛み砕いて説明します。
量子化とは
AIは通常、非常に細かい数値（例えば0.4321343のような小数点以下の数字）を使います。
しかし量子化では、これらの数値をもっと大まかにして扱います。これにより、データを扱う際の計算量が減り、処理が早くなります。
例えば
0.88942✖︎3はと聞かれるよりも
0.9✖︎3 はと聞かれる方が
計算が楽でノートなどに書くときに、ノートのスペースを圧迫しないように
するというようなイメージです。
また、コンピュータ内でのデータ保存でも、より小さな数字で表現することで、データの保存スペースを減らすことができるという利点があります。」
ただし細かい数値ではなくなるので精度が落ちるという
デメリットもあります
なぜ行うか
処理が軽くなる
モデルの容量削減
以上です
ご覧いただきありがとうございました