【プログラミング初心者】が売上を予測してみました （vol.4：データ整理編）
この記事は、週毎の売上分析、予測に気象庁のデータを加えることで、予測精度が上がるかどうかをまとめたものです。
内容は2部構成になっています。
vol.4 : データ整理編
vol.5 : モデル作成編 / 線形重回帰モデル・LSTMモデル
です。
これまでに
「【プログラミング初心者】が売上を予測してみました」
では週毎の売上分析・予測を、
vol.1 : データ整理編
vol.2 : 時系列解析編
vol.3 : 回帰編
3部構成でまとめており、
「【プログラミング初心者】が在庫を予測してみました」
では在庫状況を分析し、未来の在庫を予測しています。
今回は「【プログラミング初心者】が売上を予測してみました」
のvol.1〜vol.3 でまとめた週毎の売上分析・予測を改良し、気象庁のデータを加えることで、予測の精度が上がるか検証します。
今回は「Vol.4 : データ整理編」です。
【売上データクレンジング・成形】
売り上げexcelデータの読み込み
まずは2018年から2020年までの3年分の週毎の売上データを読み込んでいきます。
試しに2018年度 MD1週のデータを表示します。
import pandas as pd
filepass="2018年度売上週報/MD1週売上週報.xlsx"
df= pd.read_excel("/content/drive/MyDrive/2018年度売上週報2/MD1週売上週報.xlsx")
df = df.iloc[:,1:]
df.head(10)
箇所を指定して再度表示します。
df2=df[4:6]
df2
'zMN'店舗のデータだけを抽出します。
targetname=['zWM']
columns_name=df2.columns[1]
df2.columns=["Unnamed: 0", "tar", "Unnamed: 2", "ＭＤ1週", "週実績", "Unnamed: 5", "Unnamed: 6", "Unnamed: 7", "Unnamed: 8","Unnamed: 9"]
df2= df2.query("tar in @targetname")
df2
1列目は不要なので、削除します。
df3=df2.drop("Unnamed: 0", axis=1)
df3
'zMN'店舗の週実績の列のみを取り出します。
df = pd.DataFrame(columns=['MD週','zWM'])
df.loc[0,:]=[filepass.split("年")[0]+filepass.split("/")[1].split("週売")[0]]+list(df3.loc[:,"週実績"])
dfMD週 zWM
0 2018MD1 18820
続けて2018年MD2週目以降、2019、2020年度の売上データも読み込んでいきます。
import pandas as pd
import glob
targetfolder=["2018年度売上週報2", "2019年度売上週報2", "2020年度売上週報2"]
df_all = pd.DataFrame(columns=['MD週','zWM'])
counter=0
targetname=['zWM']
for folder in targetfolder:
targetfiles=glob.glob(folder +"/*.xlsx")
print(targetfiles)
for filename in targetfiles:
filepass=filename
print(filepass)
df= pd.read_excel(filepass)
df = df.iloc[:,1:]
df2=df[:10]
try:
df2.columns=["Unnamed: 0", "tar", "Unnamed: 2", "ＭＤ1週", "週実績", "Unnamed: 5", "Unnamed: 6", "Unnamed: 7", "Unnamed: 8", "Unnamed: 9"]
except:
col = ["Unnamed: 0", "tar", "Unnamed: 2", "ＭＤ1週", "週実績", "Unnamed: 5", "Unnamed: 6", "Unnamed: 7", "Unnamed: 8", "Unnamed: 9"]
diff = len(df2.columns) - len(col)
for i in range(diff):
col.append("")
df2.columns=col
df2= df2.query("tar in @targetname")
df3=df2.drop("Unnamed: 0", axis=1)
df_all.loc[counter,:]=[filepass.split("年")[0]+filepass.split("/")[1].split("週売")[0]]+list(df3.loc[:,"週実績"])
counter+=1並べ替え
抜けている部分がないか確認するため、ソートで昇順に並べ替えます。
df_all.sort_values(by="MD週")
df_all
欠損値の確認
昇順に並べ替えをしつつ、欠損値を確認します。
import glob
targetfolder=["2018年度売上週報2", "2019年度売上週報2", "2020年度売上週報2"]
df_all = pd.DataFrame(columns=['MD週','zWM'])
counter=0
targetname=['zWM']
for folder in targetfolder:
#targetfiles=glob.glob(folder +"/*.xlsx")
#print(targetfiles)
for num in range(53):
filepass=folder+"/MD{}週売上週報.xlsx".format(num)
try:
df= pd.read_excel(filepass)
df = df.iloc[:,1:]
print(filepass)
df2=df[:10]
try:
df2.columns=["Unnamed: 0", "tar", "Unnamed: 2", "ＭＤ1週", "週実績", "Unnamed: 5", "Unnamed: 6", "Unnamed: 7", "Unnamed: 8", "Unnamed: 9"]
except:
col = ["Unnamed: 0", "tar", "Unnamed: 2", "ＭＤ1週", "週実績", "Unnamed: 5", "Unnamed: 6", "Unnamed: 7", "Unnamed: 8", "Unnamed: 9"]
diff = len(df2.columns) - len(col)
for i in range(diff):
col.append("")
df2.columns=col
df2= df2.query("tar in @targetname")
df3=df2.drop("Unnamed: 0", axis=1)
df_all.loc[counter,:]=[filepass.split("年")[0]+filepass.split("/")[1].split("週売")[0]]+list(df3.loc[:,"週実績"])
counter+=1
except:
print("/MD{}週売上週報 はありませんでした".format(num))
csvデータに変換します。
df_all.to_csv("tmp.csv")欠損値の補完
csvデータを読み込みます。
import pandas as pd
df= pd.read_csv("tmp.csv", index_col=0)
df
欠損値を補完するため、各列ごとに平均や標準偏差、最大値、最小値、最頻値などの要約統計量を取得します。
df.describe()
今回は平均値で補完します。
mean_data=df.describe().loc["mean"]
mean_datazWM 16789.626984
Name: mean, dtype: float64
欠損している部分に平均値を補完します。
import glob
targetfolder=["2018", "2019", "2020"]
new_df = pd.DataFrame(columns=['MD週','zWM'])
counter=0
targetname=['zWM']
for folder in targetfolder:
#targetfiles=glob.glob(folder +"/*.xlsx")
#print(targetfiles)
for num in range(1, 53):
tmp=folder+ "MD"+ str(num)
data=df.query("MD週==@tmp")
if len(data) == 0:
new_df.loc[counter,:]= [tmp]+ list(mean_data)
else:
new_df.loc[counter,:]= data.values
counter+=1
new_df
list(data.values)[array(['2020MD52', 11638], dtype=object)]
csvデータの作成
csvデータに変換します。
new_df.to_csv("/content/drive/MyDrive/new_df_zWM.csv")【気象庁データクレンジング・成形】
気象庁のCSVデータ読み込み
続けて気象庁のCSVデータを読み込んでいきます。
import pandas as pd
df= pd.read_csv("data.csv", encoding='cp932', header=2)
df
0行目と1行目は不要なため、削除します。
df= df.drop([0,1])
df
今回欲しいデータ、"年月日", "降水量の合計(mm)", "最高気温(℃)", "最低気温(℃)"だけを取り出します。
target_column= ["年月日", "降水量の合計(mm)", "最高気温(℃)", "最低気温(℃)"]
for col in df.columns:
if col in target_column:
pass
else :
df= df.drop(col, axis=1)
df 
csvデータに変換します。
df.to_csv("wether.csv")週毎の売り上げデータとデータ数を揃えるため、日毎の気象データを週毎のデータに変更します。
df= pd.read_csv("wether.csv", index_col=0)df= df.reset_index(drop=True)
df= df.drop(df.index[-7:])
df
"降水量の合計(mm)", "最高気温(℃)", "最低気温(℃)"を週毎の平均数値にします。
new_df = pd.DataFrame(columns=df.columns[1:])
counter=0
for i in range(0, len(df), 7):
tmp= df.iloc[i : i+7, 1: ].describe()
new_df.loc[counter,:]= tmp.loc["mean"]
counter+=1
new_df 
csvデータに変換します。
new_df.to_csv("wether_week.csv")【売り上げCSVデータと気象庁CSVデータの統合】
データ読み込み
作成した、売り上げCSVデータと気象庁CSVデータを統合します。
まずは売上CSVデータを読み込んでいきます。
import pandas as pd
df_s= pd.read_csv("new_df_zWM.csv", index_col=0)
df_s
続けて気象庁のCSVデータを読み込んでいきます。
import pandas as pd
df_w= pd.read_csv("wether_week.csv", index_col=0)
df_w
売り上げCSVデータと気象庁CSVデータを統合します。
df= pd.concat([df_s, df_w], axis=1)
df
csvデータの作成
csvデータに変換します。
df.to_csv("sales_wether.csv")前回必要なデータを揃えるのに、約10時間、データの整形に約10時間かかりましたが、回数を重ねることで必要なデータの見極めがスムーズになり、2時間程度で整えることができました。
データの読み込みを始める前に、ある程度データの中身を確認し、あらかじめ整えておくことでスムーズに進められてよかったです。
「【プログラミング初心者】が売上を予測してみました（vol.4：データ整理編）」はこちらで終わりです。
続きは「vol.5 : モデル作成編 / 線形重回帰モデル・LSTMモデル」です。こちらもぜひご覧くださいませ。
もしよければ、「【プログラミング初心者】が売上を予測してみました（vol.1 : データ整理編）、（vol.2 : 時系列解析編）、（vol.3 : 回帰編）」
「【プログラミング初心者】が在庫を予測してみました 」もあわせてぜひご覧くださいませ。
最後まで読んでいただき、ありがとうございました。