Pandas勉強記録 ①ローソク足データをまとめる
今回の使用文
1. pd.to_datetime
2.set_index
3. tz_localize
4. tz_convert
5. drop
6. astype
最近更新が全く無かったのは、仕事とbot開発で忙しいからです（ごめんなさい）
ここ1か月くらい、いろいろな指標を見つけてはバックテストをし、うまくいかないんだぜ！と嘆きながらbot開発をしているのですが、段々バックテストの効率が良くなってきました。
その理由がPandas！
pythonのデータ分析ライブラリであるpandasを頻繁に使っています。
もともとエクセルでデータをまとめたり、分析するのが好きだった僕は、pandasが楽しくて仕方ありません。
bot開発においても超便利&重要なモジュールだと思うので、勉強しつつ共有していこうと思います。
第1回となる今回は、基本中の基本であるローソク足データのまとめ方にしようと思います。
ローソク足データって、
1.open(close)_time
2.open
3.high
4.low
5.close
6.volume
大体こんな感じのデータの羅列になってますよね。
bybitで取得すると
[{'close': '35591',
'high': '35634.5',
'interval': '1',
'low': '35552.5',
'open': '35634.5',
'open_time': 1624233600,
'symbol': 'BTCUSD',
'turnover': '17.56960294',
'volume': '625158'},
{'close': '35565',
'high': '35591',
'interval': '1',
'low': '35554',
'open': '35591',
'open_time': 1624233660,
'symbol': 'BTCUSD',
'turnover': '24.43114691',
'volume': '869039'},
{'close': '35698',
'high': '35712.5',
'interval': '1',
'low': '35565',
'open': '35565',
'open_time': 1624233720,
'symbol': 'BTCUSD',
'turnover': '39.28672232',
'volume': '1401459'}]他にもいろいろデータ入ってたわ。。。
これじゃ見づらいので、↓のような表形式にします。
open high low close volume
open_time
2021-06-21 09:00:00+09:00 35634.5 35634.5 35552.5 35591.0 625158.0
2021-06-21 09:01:00+09:00 35591.0 35591.0 35554.0 35565.0 869039.0
2021-06-21 09:02:00+09:00 35565.0 35712.5 35565.0 35698.0 1401459.0
2021-06-21 09:03:00+09:00 35698.0 35732.5 35652.0 35667.5 6100246.0
2021-06-21 09:04:00+09:00 35667.5 35674.0 35552.0 35552.0 970578.0
... ... ... ... ...
2021-06-22 08:15:00+09:00 31704.0 31713.5 31650.0 31659.5 1536238.0
2021-06-22 08:16:00+09:00 31659.5 31659.5 31552.5 31553.5 272027.0
2021-06-22 08:17:00+09:00 31553.5 31607.0 31553.5 31588.5 915330.0
2021-06-22 08:18:00+09:00 31588.5 31594.0 31571.5 31589.5 711770.0
2021-06-22 08:19:00+09:00 31589.5 31614.5 31589.5 31611.5 794391.0
[1400 rows x 5 columns]各行にopen_timeごとのohlcが入っていて見やすいです。
1.ローソク足データを取得する
とりあえずohlcデータを準備しましょう。
import pybybit
from pprint import pprint as print
from datetime import datetime
apis = []
bybit = pybybit.API(*apis, testnet = True)
symbol = "BTCUSD"
interval = 1
# ローソク足取得開始時刻
start = '2021/06/21 09:00'
# タイムスタンプに変換
get_start = int(datetime.strptime(start,"%Y/%m/%d %H:%M").timestamp())
ohlcv = bybit.rest.inverse.public_kline_list(
symbol = symbol,
interval = interval,
from_ = get_start,
limit = 5
).json()["result"]
print(ohlcv)実行すると普通のローソク足データ( json形式 )が入手できます。
2.表形式に変換する
json形式のohlcvを入手できたので、表形式に変換します。
ここでpandasを使います！
import pybybit
from pprint import pprint as print
from datetime import datetime
import pandas as pd
apis = []
bybit = pybybit.API(*apis, testnet = True)
symbol = "BTCUSD"
interval = 1
# ローソク足取得開始時刻
start = '2021/06/21 09:00'
# タイムスタンプ変換
get_start = int(datetime.strptime(start,"%Y/%m/%d %H:%M").timestamp())
ohlcv = bybit.rest.inverse.public_kline_list(
symbol = symbol,
interval = interval,
from_ = get_start,
limit = 5
).json()["result"]
df = pd.DataFrame(ohlcv)
print(df)pandasモジュールをインポートし、23行目に入手したohlcvを表形式に変換する命令を追加しました。
pd.DataFrame(変換したいデータ)で表形式のデータを作ることができます。
symbol interval open_time ... close volume turnover
0 BTCUSD 1 1624233600 ... 35591 625158 17.56960294
1 BTCUSD 1 1624233660 ... 35565 869039 24.43114691
2 BTCUSD 1 1624233720 ... 35698 1401459 39.28672232
3 BTCUSD 1 1624233780 ... 35667.5 6100246 170.96374332
4 BTCUSD 1 1624233840 ... 35552 970578 27.25406336
[5 rows x 9 columns]3.表を綺麗にする
表ができたので、行名(pandasではindexと言う)をopen_timeに変更、open_timeを日本時間の見やすい表記に変換、使わないデータを削除などを行います。
3-1.open_timeをdatetime形式に変換
df.open_time = pd.to_datetime(df.open_time*10**9)まずはこの1行を追加します。
dfのopen_time列に、pd.to_datetimeでdfのopen_timeの値をdatetime形式に変換したものを入れています。
df.open_time*10**9でopen_timeを10の9乗しているのは、pd.to_datetimeでは、形式に変換する際に19桁の数字を必要とするからです。（bybitから帰ってくるopen_timeの値（UNIXTIME）は10桁）
これでopen_timeがdatetime形式になって見やすくなりましたが、世界標準時のままです。（日本より9時間遅い）
次に日本時間表記に変換してみましょう。
3-2.open_timeを日本時間に変換し、indexにセット
df = df.set_index('open_time').tz_localize('UTC').tz_convert('Asia/Tokyo')この行では、3回の処理を1行にまとめています。
分解すると。。。
df.open_time = df.open_time.tz_localize('UTC')
df.open_time = df.open_time.tz_convert('Asia/Tokyo')
df.set_index('open_time')1行目：tz_localize('UTC')により、open_timeにUTC（世界標準時）のタイムゾーンを設定します。（この時間はUTCですよと宣言します）
2行目：.tz_convert('Asia/Tokyo')により、タイムゾーンを東京に変換します。
3行目：df.set_index('open_time')でindexにopen_timeをセットします。
これでindexが日本時間表記の日付になりました！
symbol interval ... volume turnover
open_time ...
2021-06-21 09:00:00+09:00 BTCUSD 1 ... 625158 17.56960294
2021-06-21 09:01:00+09:00 BTCUSD 1 ... 869039 24.43114691
2021-06-21 09:02:00+09:00 BTCUSD 1 ... 1401459 39.28672232
2021-06-21 09:03:00+09:00 BTCUSD 1 ... 6100246 170.96374332
2021-06-21 09:04:00+09:00 BTCUSD 1 ... 970578 27.25406336
[5 rows x 8 columns]注意
1行目の時点で
df.open_time = df.open_time.tz_localize('Asia/Tokyo')にしてしまうと、+9:00されず、その時間が日本時間ということになってしまいます。
（bybitから帰ってくる時刻はUTCなのに、JSTと宣言してしまうことに）
なので、一度UTCであるという宣言をしてから、tz.convertで日本時間に変換する必要があります。
3-3.不要なデータを削除
僕の場合はohlcのデータのみ残すようにしています。
symbol：BTCUSD ⇒ 知っとるがな
interval：1 ⇒ 知っとるがな
volume： ⇒ 使わない
turnover： ⇒ なにそれ
ということで、この4列を削除します。
df.drop(["symbol","interval","volume","turnover"],axis = 1,inplace = True)df.drop：削除する という意味です。
axis = 1：列の中から"symbol"や"volume"を探してね という意味です。
inplace = True：dropしたdfを正とするよ という意味です。
inplaceだけ分かりづらいんですが、Falseにするとオリジナルのdfからは削除されません。試してみてくださいな。
これで表がすっきりしました。
open high low close
open_time
2021-06-21 09:00:00+09:00 35634.5 35634.5 35552.5 35591
2021-06-21 09:01:00+09:00 35591 35591 35554 35565
2021-06-21 09:02:00+09:00 35565 35712.5 35565 35698
2021-06-21 09:03:00+09:00 35698 35732.5 35652 35667.5
2021-06-21 09:04:00+09:00 35667.5 35674 35552 355523-4.データの形式を変換
pandas_dataframeというのは、列同士で演算ができます。
例えばすべての行でhigh - lowを行いたかったら、
df["high - low"] = df.high - df.low上記の1行で、新しくhigh - lowの列を作ることができるんですが。。。
このdfで新たな列を作ろうとしても以下のエラーが出ます。
TypeError: unsupported operand type(s) for -: 'str' and 'str'まぁ読めばわかるんですが、文字列型同士の演算はできないよというエラーですね。bybitがstr型でデータを送ってくるからです(# ﾟДﾟ)
これを回避するために全てfloat型に変換しましょう。
df = df.astype('float')これでOKです。すべての要素をfloat型に変換しました。
無事列同士の計算もできるようになりました。
open high low close high - low
open_time
2021-06-21 09:00:00+09:00 35634.5 35634.5 35552.5 35591.0 82.0
2021-06-21 09:01:00+09:00 35591.0 35591.0 35554.0 35565.0 37.0
2021-06-21 09:02:00+09:00 35565.0 35712.5 35565.0 35698.0 147.5
2021-06-21 09:03:00+09:00 35698.0 35732.5 35652.0 35667.5 80.5
2021-06-21 09:04:00+09:00 35667.5 35674.0 35552.0 35552.0 122.04.まとめ
以下の5行でohlcをスッキリした表形式に変換することができました。
df = pd.DataFrame(ohlcv)
df.open_time = pd.to_datetime(df.open_time*10**9)
df = df.set_index('open_time').tz_localize('UTC').tz_convert('Asia/Tokyo')
df.drop(["symbol","interval","volume","turnover"],axis = 1,inplace=True)
df = df.astype('float')これでローソク足を使った計算はなんでもできます。しかも簡単で速い！
今回はここまで！
最後に全コードを載せて終わりにします。
import pybybit
from pprint import pprint as print
from datetime import datetime
import pandas as pd
apis = []
bybit = pybybit.API(*apis, testnet = True)
symbol = "BTCUSD"
interval = 1
# ローソク足取得開始時刻
start = '2021/06/21 09:00'
# タイムスタンプ変換
get_start = int(datetime.strptime(start,"%Y/%m/%d %H:%M").timestamp())
ohlcv = bybit.rest.inverse.public_kline_list(
symbol = symbol,
interval = interval,
from_ = get_start,
limit = 5
).json()["result"]
df = pd.DataFrame(ohlcv)
df.open_time = pd.to_datetime(df.open_time*10**9)
df = df.set_index('open_time').tz_localize('UTC').tz_convert('Asia/Tokyo')
df.drop(["symbol","interval","volume","turnover"],axis = 1,inplace=True)
df = df.astype('float')
print(df)