データの誤謬＃13 『 オーバーフィッティング 』

” 誤謬（ごびゅう）とは、つまり、間違っていることである。”
データにまつわる誤謬を紐解き、やさしく知るシリーズ（全15回）

人工知能とかけて、人間関係と解く。

その心は？

＃13 オーバーフィッティング

手持ちのデータに合わせすぎて、一般的な傾向を表していない偏ったモデルを作ってしまうこと

手持ちのデータにフィッティングし過ぎると
未知データの予測精度は下がってしまうようなことが起きます。

よくある例としては、AI(人工知能)で頑張って学習させて、
本番になると、全く使えないじゃん（怒！）となるやつです。

原因は、オーバーフィッティング。

これまで学習してきたデータと同じような場合は精度が高いのですが、
そうでない異常値が出るような場合には、最適とはいえない決定が下されてしまいます。

通常、よりシンプルなモデルの方が、より堅牢で、将来のトレンドを予測するのに適していることを覚えておきましょう。

おまけ：精度100％のAIは、100%存在しない？
AI（人工知能）の精度を上げるため、オーバーフィッティングしないよう判断をある程度外しても良しとする「滑らかさ」を実装します。
そのため、100％完璧AIというのは理論上存在しないわけです。
AIは、絶対間違わないシステムというイメージで捉えがちですが、そうではないため、間違った判断があることを前提に、うまくAIと付き合っていくのが正解ですね。

…冒頭のお題に戻り、

”人工知能とかけて、人間関係と解く。
　 どちらも「滑らかさ」が必要でしょう。”

座布団（スキ❤️）ください😁

Geckoboard

忙しい毎日、しかし、生産的であるとは限りません。
多くのチームでは、データのカオスに時間を奪われています。

「データの確認」に毎日、何回クリックしてますか？
「数字の読み合わせ」に時間を割くミーティングは効率的ですか？
「深刻なエラー」を見逃さない工夫がありますか？

Geckoboard（ゲッコーボード）で解決できるかもしれません。

あなたがこれから目にするものは、他に類を見ない、見る者の目を奪う「揺るぎないシンプルさ」を追求した、美しいダッシュボードです。

※当記事は、英ロンドンDatachoice Solutions Limited社とのライセンスに基づいて、転載・加筆しています。