Boosting Method for Automated Feature Space Discovery in Supervised Quantum Machine Learning Models
アート思考
会社のラーニングイベントというもので「アート思考」について学びました。
アート思考とは次のようなものだそうです。
アーティストが「０」から「１」を生み出す過程で行う発想法のように、常識にとらわれない自由な思考法のことで、ビジネスにおいても独創的なサービスや商品を生み出す思考法として注目されています。
(出典: アート思考とは何か？どのように身につけるのか？)
例えば、「紙とペンを用意して、何でもいいので1分間で好きな絵を描いてください。」と言われたら何を書きますか？
好きなキャラクター、動物、風景などなど…。
ほとんどの人が描くのは「形のあるもの」だと思います。
筆者は捻くれているので、好きな抽象絵画というものをイメージした概念的なものを描きましたが、講師の方は形の決まっていないものを書いたのは3人目くらいだと仰っていました。
「絵を描く」というと、ほとんどの人が見たことがあるものを描かなければいけないという「型」や「常識」に囚われがちです。
しかし、その中で生きているだけだと、誰もが誰かの猿真似で終わってしまい、ビジネスや学問においてのブレイクスルーを引き起こせなくなってしまいます。
他人と異なることをするのは勇気が要りますが、その勇気があなたの存在価値となるのです。
まあ、私は尖っているだけの迷惑なクラッシャーなのですが。
概要
Boosting Method for Automated Feature Space Discovery in Supervised Quantum Machine Learning Models
written by Vladimir Rastunkov, Jae-Eun Park, Abhijit Mitra, Brian Quanz, Steve Wood, Christopher Codella, Heather Higgins, Joseph Broz
published on Tue, 24 May 2022
[Abstract]
Quantum Support Vector Machines (QSVM) have become an important tool in research and applications of quantum kernel methods. In this work we propose a boosting approach for building ensembles of QSVM models and assess performance improvement across multiple datasets. This approach is derived from the best ensemble building practices that worked well in traditional machine learning and thus should push the limits of quantum model performance even further. We find that in some cases, a single QSVM model with tuned hyperparameters is sufficient to simulate the data, while in others - an ensemble of QSVMs that are forced to do exploration of the feature space via proposed method is beneficial.
[Abstract(翻訳)]
量子サポートベクターマシン(QSVM)は、量子カーネル法の研究と応用において重要なツールとなっている。本研究では、QSVMモデルのアンサンブルを構築するためのブースティング手法を提案し、複数のデータセットにおける性能向上を評価する。この手法は、従来の機械学習で効果を発揮したアンサンブル構築のベストプラクティスに基づいており、量子モデルの性能をさらに引き上げることを目指す。調整されたハイパーパラメータを持つ単一のQSVMモデルがデータを十分にシミュレーションできる場合がある一方で、提案手法により特徴空間を探索するよう強制されたQSVMのアンサンブルが有益となる場合もあることが判明した。
コンテンツ
QSVMの登場
QSVMは高次元のヒルベルト空間を利用することで、従来のSVMの性能を超える可能性を秘めている。
これまでの研究でQSVMが古典的なSVMやXGBoostと比較して、特定のデータセットで性能の改善が観察されている。
一方で、実用的なデータセットにおいては量子のアプローチが従来の手法を凌駕した例は限られている。
本研究の目的
QSVMを用いたブースティング手法を提案し、アンサンブル学習による性能向上を目指す。
QSVMの特性である「異なる特徴マップの利用による独立性」を活用し、より広範な特徴空間を探索する手法を提案する。
提案手法の特徴
はじめに、本研究ではIBM Quantum System Oneのような超伝導量子計算機で動作する汎用的な量子計算手法を採用する。
次に、浅い量子回路でカーネル関数を考慮するものの、これらは典型的な弱い分類器よりも強い性能を示す傾向がある。
更に、ブースティングステップごとに異なる特徴マップを選択し、より広い特徴空間とモデル構造を探索する。
また、この提案手法は分類タスクに限らず、回帰タスクにも適用可能である。
最後に、本研究では速度面の向上ではなく、より高い性能を持つモデルの開発を重要視する。
本研究の貢献
この研究は以下の成果を残している。
QSVMを用いた新しいアンサンブル学習法の提案
QSVMのハイパーパラメータ最適化手法の開発
複数のデータセットでのシミュレーションによる性能評価と安定性の確認
データとエンコーディング
データとして、「半月形」、「円形」、「XOR」の異なる構造と複雑性を持つデータ分布を持った3つを用いる。
データは学習用、検証用、評価用の3つのデータセットに分割される。
本研究で用いられる特徴マップは次のように定義される。
$${\mathcal{U}_{\Phi}(\vec{x}) = U_{\Phi (\vec{x})} H^{\otimes n}}$$
ここで、
$${U_{\Phi (\vec{x})} = \exp \left( i \sum_{S \subseteq [n]} \phi_S (\vec{x}) \prod_{i \in S} P_i \right)}$$
である。
このような特徴マップを用いることで、古典的なSVMにはない非線形決定境界を作ることができるようになる。
アンサンブル構造
提案するブースティングアルゴリズムは次のように進行する。
各データ点に対して初期重み $${w_i = 1}$$ を設定
学習用データセットと検証用データセットを用いて最適なQSVMモデルを選択
グリッドサーチでは「特徴マップの選択」、「パウリ回転係数 $${\alpha}$$」、「正則化パラメータ $${C}$$」を探索アーリーストッピングの条件は、次のいずれかが満たされたとき
学習器が完璧になる(学習用データの誤分類率が0以下)
学習器がランダムな推測以下の性能である(誤分類率が0.5以上)
設定された学習器の最大数に到達する
現在の反復で使用した特徴マップを次のグリッドサーチから除外し、探索空間を広げる
誤分類されたデータ点の重みを増加させることで、次回の学習器がそれらを優先的に学習するように調整
各学習器の予測をその重みに基づいて結合し、最終的なアンサンブルモデルを形成
数値シミュレーション結果
比較対象のモデルとしては、古典的なSVMモデルとXGBoostを用いた。
SVMでは、ガウスカーネルと線形カーネルを用いており、正則化パラメータ $${C}$$ を0.1から100、ガウスカーネルのパラメータ $${\gamma}$$ を0.0001から10まで探索した。
各データセットにおけるモデル性能の比較結果は次のとおりである。
XORデータセットでは、3種類のモデルの性能はほぼ同等のもの
半月形データセットでは、Boosted QSVMが他のものにやや劣る
円形データセットでは、Boosted QSVMが最も高い精度を達成
データセットの複雑性が高い場合、Boosted QSVMは複数のモデルを利用することで性能を向上させられる一方、円形データセットのような単一の学習器で十分な性能を発揮できる場合、アンサンブルの効果は限定的であると考えられる。
感想
これ出てきたの2022年の5月なんですよね。
…筆者の卒論(2022年1月)テーマがQSVMの単体性能評価だったのであんまり内容に驚きがない…。
背景みたいなのを言うと、当時IBMの量子コンピューティング用フレームワークのQiskitに、量子アルゴリズムの応用先を見据えてということで4つほどサブモジュールが出来たんですね。
そのうちの1つがQiskit Machine Learningというもので、機械学習向けのフレームワークを提供しています。
そこでQSVMがちょっと流行ったというのがありましたね。