【Core ML】 coremltools 8 / iOS 18の新しいモデル圧縮手法 #WWDC24

WWDC24のセッション "Bring your machine learning and AI models to Apple silicon" のセッション内で、Core MLモデルのさまざまな最適化手法について解説されている。

Bring your machine learning and AI models to Apple silicon - WWDC24 - Videos - Apple Developer

本記事ではその中の「モデル圧縮」についてまとめる。

⚠️ 本記事の画像、引用部分は基本的に同セッションからの引用です。

なお同セッションで解説されている「Stateful model （ステートフル・モデル）」については下記記事に、

「Transformer optimization」については下記記事にまとめた。

モデル圧縮の重要性

優れたパフォーマンスを発揮する機械学習モデルは、今日ではかなり大きくなっている。より多くのストレージ容量、より高いレイテンシー、より多くの電力を必要とし、オンデバイスで効率的に展開することが難しくなっている。残された選択肢は1つ、モデル圧縮によってモデルサイズを小さくすることだ。

ローカルLLMやCore ML版Stable DiffusionをiOSデバイスで動かすことを試みているときにこの課題は強く感じた。

ローカルLLM on iOS の現状まとめ

Core ML版Stable DiffusionをiOSで快適に動かす

• サイズが数GBもあるとアプリバイナリに含められないし、

• ユーザーにDLさせるにもデカすぎるし、

• メモリを食うので落ちるし、

• 推論時間もかかるし、

• 古い端末で動かないし

• etc…

モバイルで機械学習モデルを動かす際のすべての問題の元凶がモデルサイズ。つまり機械学習モデルをモバイルデバイスで快適に動かすにはモデル圧縮がキーとなる。