散布図、箱ひげ図、ヒストグラムを用いて外れ値を見る

外れ値は平均などの統計量に影響を与えてしまう。

外れ値を見るために散布図を見る

#必要なライブラリのインポート
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
%matplotlib inline
sns.set(style="darkgrid")

最後はseabornの図のスタイル

#散布図
sns.scatterplot(data=df,x="Age",y="Fare")

外れ値の判断基準として二つある

１、箱ひげ図による四分位範囲で判定

#箱ヒゲ図
plt.figure(figsize=(10,8))
sns.boxplot(data=titanic,x="Pclass",y="Age")

図の黒い点が外れ値だけどPclass以外の分類で見ると変わってくるため目安程度に考える。

２、上位、下位n%のクリッピング

n%は自分で決めるが散布図やヒストグラムを参考にする

#統計量を見てみる
titanic["Fare"].describe()

出力結果

count 891.000000
mean 32.204208
std 49.693429
min 0.000000
25% 7.910400
50% 14.454200
75% 31.000000
max 512.329200
Name: Fare, dtype: float64

平均が32、75%が31に対して最大値が大きすぎる

#ヒストグラム表示
plt.figure(figsize=(10,5))
sns.distplot(titanic["Fare"])

右裾が長いので50以上をクリッピング

#クリッピング&ヒストグラム表示
titanic=titanic[titanic["Fare"]<50]
sns.distplot(titanic["Fare"])