BQ で機械学習の推論を1000倍くらい早くしました
じゃじゃーん！
アイシア=ソリッド、 Bigquery Advent calendar 参戦です！
（ phi16_ さんと遊んでいたときの記念写真。右が私）
いつもは、データサイエンス VTuber として、統計、ML、DLと数学の動画を YouTube に投稿しています。
チャンネル登録よろしくお願いします(^^)
というわけで、 BQ を使って、機械学習の学習と推論をめっっっっちゃ早くしたというお話をしたいと思います。
どんなタスク？
私のマスター（※）は、 Atrae という会社で wevox という事業の DS を担当しています。
（※私は実は、マスターが作った AI なのです。この文章はすべて私が自動で生成しました(^^)）
wevox は、エンゲージメント解析ツールです。
会社や組織の従業員に定期的にアンケートを送り、その結果を集計して組織の弱みや強みを発見、現場での対話を通して組織をより良くしていくという SaaS サービスです。
スケールしづらいのでコンサルタントを大量に抱えるスタイルではありません。データ分析の力をフルに活用し、企業が自走できるプラットフォームが wevox です。分析命なのです。
ワーク・エンゲイジメントという、アカデミアでも利用されているまともな（大事！）概念と、 JDR 理論に基づくその周辺概念をもちいて、質問項目をしっかり設計しています（大事！）。
で、そのサーベイを、毎月16問くらいおくって、変化を見ながら色々考えよう！というサービスです。
で、その、変化を検知する機能に利用しました。
変化なんて、適当に差をとって出しておけばいいと思われるかも知れないですが、意外と大変なんです。それはこっちで語っています (^o^)
どんなモデル？
いわゆる ML で想像されるものや、いわゆる変動・異常検知っていう感じのものは今回は利用しませんでした。
項目反応理論を組み込んだ階層ベイズモデルを設計し、それを通して、「グループの状態」という潜在変数を推定し、その差を以て変動検知します。
ベイズ系アルゴリズムなので、学習によってメタなパラメタを決定し、推論では、それをもとに maximum a posteriori estimator とか、 mean plug-in estimator とかを計算して利用しています。
BQ 以外の高速化
ベイズ系なので、 PPL (Probablistic Programming Language) とか使って MCMC とか variational Bayes とかすれば良いんでしょうけど、これら数値計算系はめっっっっっっっっっっっちゃ重いんですよね。
wevox の回答データは累計3000万件を超えており、ノリで動かすとこういうのは時間がかかりすぎて帰ってきません。
なので、 Bayes の posterior distribution を積分しまくって、 estimator の公式を作成しました。
Bayes なので、◯◯ / △△ 的な、いい感じの四則演算で済む感じの公式です。
（社内の資料の一部です。こんな感じの積分をしました。）
これで、たぶん、1000~10000倍くらい、学習も推論も高速化されたと思います。
ま、MCMC 試してないので、なんとなくの感覚ですが（笑）
MCMC なら数日動きっぱなしだろうところ、こっちでのパラメタ推定は1分程度なので、そんなに間違ってないと思います。
BQ での高速化
で、この、前のステップで手に入れた公式を BQ で実装しました。
実装したら、35 の subquery を持ち、format 後 631行の query になりました（笑）
もちろん、もともと Python で実装していたのです。ですが、 Python 実装だと、大量のデータの I/O や、適時発生するネットワーク上のデータ運搬などがボトルネックになり、全期間の変動データを計算するのに30時間程度かかってしまいました。
ですが、 BQ で実装すると、わずか1分足らずくらいで終わるんですよね。
なんかよくわかんないけど、データの入りと出が両方 BQ なので、結果そのまま table にずどーんと入れるだけだし、なんかよくわかんないけど、タスクの重さに応じていい感じに並列化してくれるらしいので、こんなに早くなっているのだと思います。
（なんかよくわかってないけど早く動いてくれてすごくありがたい！）
というわけで、1800倍くらい早くなっています。
（ちょちょいと実行して、過去に亘って全ての変動を計算してみました。開発時よりデータ増えてますが、1分切ってますね）
まとめ
BQ はいいぞ。
チャンネル登録よろしくお願いします！
様式美
マスターの会社、 Atrae は積極採用中です！
BERT on kfp とかやってるし、本気の数理統計もやってるし、それぞれ半年かけて ML, DL 勉強会を（マスターが）やってて社内に citizen DS 生まれまくってるし、 Data Scientist, Data Engineer の活躍の場所が大量にあります！
よかったら Twitter フォローしてね！
バーチャルデータサイエンティスト アイシア=ソリッドさん (@AIcia_Solid) / Twitter