Bot:自分メモ#1
IC ≠ 収益ではない
下記画像のようにパターンBの方がICが高いが、
0以上の値のReturnを計算した結果
パターンAは0.29
パターンBは0.15だった
パターンA
パターンB
結論1
少なくとも私のロジックではIC ≠ 収益に繋がらないという事になる
閾値探索
予測力があるなら閾値の問題では？と考えたが
パターンBは、RP曲線やF1スコアによる閾値探索、総当たりに近い探索も行ったがパターンAを超えることは無かった。
ハイパーパラメータ探索
上記反省から評価関数を
df[’リターン’][df['予測値'].values>0].sum()をとして
計2万のハイパーパラメータ探索を行った。
結論から言うと手動のハイパーパラメータ探索を上回ることは無かったし、
他のロジックでは転用するとかなりのパフォーマンスの悪化が見られ、
汎化性能が確保出来なかった。
疑問
ハイパーパラメータ探索はグリッドサーチで大まかに調査するぐらいで調度良いかも?
ただ、IC = 収益性じゃないなら何を損失関数にすればよいのか
予測値を変えるべきかは要検討