#011 エンヤのデータサイエンス挑戦記：温室効果ガス排出量予測に挑む！モデル改善で上位ランクインを目指す方法

2024年11月15日 08:50

2024/11/15（金）

はじめに

こんにちは、エンヤです！
現在、SMBC Groupが主催する「GREEN×DATA Challenge 2024」で温室効果ガス（GHG）排出量の予測に挑戦しています。このコンペティションでは、過去のデータを基に、将来の排出量をいかに正確に予測できるかが問われており、評価指標としてRMSLE（Root Mean Squared Logarithmic Error）を使用しています。今日は、モデルのハイパーパラメータを調整し、久々にスコアを改善できましたので、その内容について詳しくお伝えします。

現在のスコアと順位

評価指標：RMSLE
最新スコア：0.72038（0.00044の改善）
順位：9位 / 502人中（12位から9位に上昇）

この一週間、徐々に順位が下がり、金メダル圏内からも外れてしまっていました。しかし、調整の成果が出て再び10位以内に返り咲くことができました！地道な調整の積み重ねが少しずつ成果に繋がっていると実感しています。

今日の施策：L2正則化による過学習対策

今日の改善ポイントは、「L2正則化」のハイパーパラメータ調整です。過学習（モデルが訓練データに適合しすぎることで新しいデータへの汎化能力が低下する現象）を防ぐため、L2正則化を少しずつ増やしました。その結果、モデルの汎化性能が向上し、評価指標であるRMSLEが改善しました。

L2正則化について簡単に説明すると、モデルが極端な重みを持つのを防ぐために使用される手法です。これにより、モデルが一部の特徴量に過度に依存するのを抑え、安定したパフォーマンスが期待できます。調整の際は一度に大きく変えるのではなく、少しずつ値を調整していくことがポイントです。

メリットとデメリット：L2正則化の効果

メリット：過学習の抑制が期待でき、モデルの汎化性能が向上します。また、安定したパフォーマンスを発揮しやすく、スコア改善にも繋がりやすいです。
デメリット：L2正則化の値を上げすぎると、逆にモデルの学習能力が抑制され、精度が低下する可能性があります。そのため、適切な値を見極めるための試行錯誤が必要です。

感想

調整を重ねてスコア改善を実感できたことは、大きな励みになりました。特に、過学習対策としてのL2正則化の調整が効果的だった点に驚きました。データサイエンスの実務においても、このように一つ一つのパラメータ調整が結果に与える影響を実感し、最適な設定を模索することの重要性を感じました。今後も引き続き、より高い順位を目指して改善を続けていきます。

今回のポイント

過学習対策の重要性：実務でも効果が期待できる過学習対策として、L2正則化を試す価値がある。
少しずつの調整が大切：L2正則化の値を一度に大きく変えるのではなく、少しずつ調整して改善を図る。
もちろんグリッドサーチや最適化によるパラメータチューニングも効果的です。時間がかかるのとどのパラメータが効いているか分からないので、学習時間が短ければ手動で調整するのも効果的です。

データサイエンスにおいて、コンペティションは知識と技術を実践的に磨く絶好の機会です。今後も皆さんに役立つ情報をシェアしていきますので、ぜひお楽しみに！