騙されてない？やけに結果の良いバックテストには裏があるかも〜前編〜
SNS を見ていると、株や仮想通貨の自動売買システムを作っている人たちがじぶんたちのシステムで儲かることを報告するグラフをよく見かけます。
グラフは右肩上がりで、ドンドン利益が増えているように見えます。 あまりにも魅力的なためにメラメラと嫉妬心が渦巻くかもしれません。
この記事は、そのようなすばらしいバックテストの結果に対して穿った見方を提供し、少し心を落ち着かせる記事となります。
これから投資戦略の開発を目指す人にとっても、この内容は役立ちます。実際の運用で利益を出すために、バックテストと現実のギャップを理解することが重要です。
バックテストで良い結果が出ても、それが現実で通用するとは限らないからです。
具体的には、定量投資戦略開発に携わるものであれば一度は読むべき記事
(Luo et al., 2014)「Seven Sins of Quantitative Investing」（クオンツ投資の7つの大罪）の内容をもとに、バックテストの結果を見る際に注意すべき点を確認していきます。
大罪①：投資対象にジョーカーはふくまれているか？｜生存者バイアスの確認
よくある投資戦略として、各銘柄について何らかのシグナルを計算し、そのシグナルの値が高いほどその銘柄を多く保有する、というものがあります。
しかし、その計算対象の銘柄はどのように選ばれたものなのでしょうか。
倒産や上場廃止によって投資対象から外れた銘柄は適切にバックテストに含まれているのでしょうか。
もし、そうした銘柄が含まれていないならば、結果は過度に楽観的な設定に基づいていると言えるでしょう。
例えるならば、ジョーカーが含まれていないババ抜きです。ババが含まれていないので、誰も負けないゲームになっています。
投資戦略を開発する立場の場合、生存者バイアスを防ぐためには何ができるでしょうか。例えば株式の投資戦略の場合、投資対象を現在の株式指数に採用されている企業だけでなく、過去の時点の指数の構成銘柄も含めることが必要です。
大罪②：つかっているデータはその時点で利用できたのか？｜先読みバイアスの確認
ある株式の銘柄を買うかどうかの判断材料として、財務情報を利用したり、
どの国の株価指数、債券、為替に投資すべきかの判断材料としてマクロ経済指標を用いるのは良いアイディアです。
ファンダメンタルズに基づいた投資アイディアは説得力を有しています。
しかし、それらの情報はその時点でリアルタイムに利用できたのでしょうか。
例えば多くの企業は、会計期が終わってから財務諸表を作成し、公表するまでに平均して1～2ヵ月かかります。また経済指標も集計対象となる月の翌月に速報値が発表され、その後修正値が続くというのが一般的です。
問題は、多くのデータベースでは、日付のラベルに、発表された日付ではなく、集計対象の期間(の期末日付)が記載されていることです。
さらに、速報値なのか修正値なのかも、ほとんど区別されていません。そのため、これらの情報を何も知らずに利用してしまうと、本来その時点で知ることができなかった情報を先読みしてしまうことになります。
先読みバイアスを防ぐために最もよく使われる簡易的な方法は、ラグを取る方法です。データベースに入っている日付ラベルを2~3ヶ月先の日付に直してから利用する方法です。
また、地道ですが時には差別化をもたらし投資戦略の収益の源泉となる方法があります。その時点で利用できたリアルタイムのデータを収集する方法です。マクロ経済指標についてはこちらの記事を参考にしてください。
大罪③：サンプル期間は十分に長いか？｜ストーリーを盲信しない
人はストーリーが好きな生き物です。ストーリーで説明されると妙に納得してしまいます。
しかし、その説得力に完全に頼り切ってしまうのは危険です。なぜなら、短い期間のデータや都合の良いデータだけを使って分析すると、簡単にストーリーに沿うような結果を作ってしまうことができるからです。
例えば、「この指標を見れば金融危機が予測できた！」「金融危機の原因は〜だったから〜を使えば金融危機にも耐える戦略を生み出せた!」という分析があったとしても、本当に次の金融危機を予測できるのかはわかりません。
なぜなら、過去のたった一回の出来事しか見ていないからです。
さらに、人間は自分が見ているものが全体のほんの一部だと気づかずに、スローリーを語り、過信してしまう生き物です。
そのため、投資のアイデアを判断する際には、十分な期間のデータで検証されているかどうかを確認することが重要です。
どのくらいの期間が十分かは、分析の内容によって異なります。
例えば、企業の業績などの情報を利用する場合は、業績は景気によって影響されるので、少なくとも景気の山と谷を数回は含むデータセットが必要でしょう。
金融危機にも有効な戦略を検証するならば、少なくとも金融危機を数回含むデータセットが必要です。存在しませんが。
関連記事：こちらの記事で世界各国の経済指標について過去長い期間まで遡って取得したい際に便利なデータベースを紹介しています。
後編に続く！
バックテストの結果に一喜一憂する前に、冷静に検証することが重要です。
生存者バイアスや先読みバイアスなど、バックテスト結果を歪める要因を理解することで、やけに良いバックテストのウラに気づけるでしょう。
逆に戦略開発を目指す人の場合は、それらに対し適切な対策を講じることが、実際の運用で成功する鍵となります。
後編ではクオンツ投資の7つの大罪の残り４つを紹介します！ぜひお楽しみに！
いいなと思ったら応援しよう！
