[BTC][Bot] [Python] 第三回 取引所の取引データを保存する
はじめに
こんにちは _santa365です。
第一回 はじめのBot環境構築 ではベースとなるプロジェクトの作成、第二回 取引所の取引データを取得する では実際の取引所と通信をしてデータの取得を行いました。
今回は第二回の内容を少し発展し、取引所の実際の取引データを取得し、保存していこうと思います。取引データを保存することでバックテスト(過去のデータを使ってBotの有効性をテストする)をすることができるようになります。
取引所の取引データを保存する
前回の最終的なコードは以下のようになってました
import asyncio
import pybotters
async def ftx():
async with pybotters.Client() as client:
wstask = await client.ws_connect(
'wss://ftx.com/ws/',
send_json=[
{'op': 'subscribe', 'channel': 'trades', 'market': 'BTC-PERP'},
],
hdlr_json=pybotters.print_handler,
)
await wstask
def main():
try:
asyncio.run(ftx())
except KeyboardInterrupt:
pass今回は、これを改良して手元にデータを保存するようにします。
方針
方針としては簡単です。データ保存用のHandlerを作成し、それを`pybotters.print_handler` の代わりに使います。
まずpybottersのprint_handlerの中身を見てみると下記のような形になっています(Code)。
def print_handler(msg: Any, ws: aiohttp.ClientWebSocketResponse):
print(msg)これと同様の引数の形式をもつ関数`save_to_csv_handler`を定義します。今回はws引数は使用しないため引数名を_にしています。
from typing import Any
import aiohttp
def save_to_csv_handler(msg: Any, _: aiohttp.ClientWebSocketResponse):
print(msg)pybotters.print_handlerの部分をsave_to_csv_handlerに書き換えます。ここまでのコードをまとめると下記のようになります。
書き終えたコードを実行してみてください。挙動は `pybotters.print_handler` のときと同じですが、中身は定義した関数を使うようになっています。
import asyncio
import pybotters
import aiohttp
from typing import Any
async def ftx():
async with pybotters.Client() as client:
wstask = await client.ws_connect(
'wss://ftx.com/ws/',
send_json=[
{'op': 'subscribe', 'channel': 'trades', 'market': 'BTC-PERP'},
],
hdlr_json=save_to_csv_handler,
)
await wstask
pybotters.FTXDataStore()
def save_to_csv_handler(msg: Any, _: aiohttp.ClientWebSocketResponse):
print(msg)
def main():
try:
asyncio.run(ftx())
except KeyboardInterrupt:
pass次に、`save_to_csv_handler` の中身を変更して受信したデータをファイルに保存する処理にします。
Websocketによって受信するデータは主に以下のようになっています。
{'type': 'pong'}
{'type': 'subscribed', 'channel': 'trades', 'market': 'BTC-PERP'}
{'channel': 'trades', 'market': 'BTC-PERP', 'type': 'update', 'data': [{'id': 1514850859, 'price': 39022.0, 'size': 0.0128, 'side': 'buy', 'liquidation': False, 'time': '2021-07-30T15:37:06.154989+00:00'}]}上記の情報では `pong` や `subscribed` といった不必要なデータが含まれています。ファイルを保存する前にデータの不必要な部分を削除するため関数の中身を少し書き換えます。
def save_to_csv_handler(msg: Any, _: aiohttp.ClientWebSocketResponse):
# msgに`data`がなければ、Trade情報ではない
if 'data' in msg:
channel: str = msg['channel']
market: str = msg['market'] if 'market' in msg else ''
datas: Any = msg['data']
# Trade情報の場合、msgの`channel`は`trades`になる
if msg['channel'] == 'trades':
for data in datas:
print(data)やってることはシンプルです。トレード情報のデータには`data`キーが絶対含まれているので、まず受信したデータの中に`data`キーがあるかチェック。その後、受信したデータの中からさらに必要なデータのを書き抜きます。
これを再度実行すると表示は以下のようになります
$ poetry run pybot
{'id': 1514858964, 'price': 39066.0, 'size': 0.0828, 'side': 'sell', 'liquidation': False, 'time': '2021-07-30T15:40:07.506434+00:00'}
{'id': 1514858965, 'price': 39066.0, 'size': 0.0172, 'side': 'sell', 'liquidation': False, 'time': '2021-07-30T15:40:07.506434+00:00'}
{'id': 1514858972, 'price': 39066.0, 'size': 0.0019, 'side': 'sell', 'liquidation': False, 'time': '2021-07-30T15:40:07.586899+00:00'}必要な情報のみを取得することができましたね。上記のデータをファイルに保存していきます。今回はCSVファイルに保存します。また一つのファイルがすごく長くなるのを避けるため、日付毎にファイルを分けます
import os
import csv
from datetime import datetime as dt
def save_to_csv_handler(msg: Any, _: aiohttp.ClientWebSocketResponse):
if 'data' in msg:
channel: str = msg['channel']
market: str = msg['market'] if 'market' in msg else ''
datas: Any = msg['data']
if msg['channel'] == 'trades':
for data in datas:
dir_path = 'data/ftx/raw'
file_name = data['time'][0:10];
file_path = f'{dir_path}/{file_name}.csv';
if not os.path.isdir(dir_path):
os.makedirs(dir_path, exist_ok=True)
if not os.path.isfile(file_path):
with open(file_path, 'w') as f:
writer = csv.writer(f)
writer.writerow(['time', 'side', 'price', 'size'])
with open(file_path, 'a') as f:
writer = csv.writer(f)
writer.writerow([data['time'], data['side'], data['price'], data['size']])処理の内容は上から順番にせ大きく３つに別れています。
1. 保存する先のディレクトリがなければ作成する。今回は、`data/ftx/raw`に保存する。
2. 保存ファイルが無ければ、作成する。CSVなのでファイル作成時はHead情報をはじめに書き加えています。
3. 実際のトレードデータを保存する
今回保存したデータは生データ(raw)になるのでここからローソク足の作成やバックテストに必要なデータを作成をすることができます。
以上で取引データの保存は完了です。おつかれさまでした！
次は保存した生データを使ってローソク足の作成にトライしていきます！
Twitterで最新記事情報等流しています！お見逃しがないようフォローまたはリストに追加していただけると幸いです！