Box の大量データを GCS に送りたい

2022年8月13日 01:02

背景

Box にたくさんデータがあって、それを Google Cloud Platform （以降 GCP）の Google Cloud Storage に送りたいです。ひとつひとつのファイルサイズはテキストなのに数十MBから数百MBとわりと大きいし、数は数百から数千とかありそうです。転送の頻度はせいぜい毎月です。

Box のデータをいったん手元にダウンロードするのも、さらにそれをアップロードするのも大変でどうしたものかと調べていたら rclone に行き当たりました。お金がたくさん使えるなら trocco を使いたいところではあるけどなかなかお高いので諦めました。

結論

rclone を使って以下のように実行するとローカルのストレージを消費せずにファイルの転送ができちゃいます。

$ rclone copy box:org/file.txt gcs:dst/

これは良いですね。ということで、以下に設定の過程を書きます。

設定

インストール

本当はコンテナでいきたかったのですが、ブラウザでクラウドプロバイダに飛んで設定するのができなかったので諦めて Homebrew で入れました。

$ brew install rclone

Box の設定

ポイントとしては以下です。

name は box にしたこれは実際に使う際の接頭辞になります
ストレージの選択はもちろん Box を選択する
ブラウザが開いて認可を求められるので承諾する

$ rclone config

No remotes found, make a new one?
n) New remote
s) Set configuration password
q) Quit config
n/s/q> n

Enter name for new remote.
name> box

Option Storage.
Type of storage to configure.
Choose a number from below, or type in your own value.
（中略）
8 / Box
\ (box)
（中略）
Storage> box

Option client_id.
OAuth Client Id.
Leave blank normally.
Enter a value. Press Enter to leave empty.
client_id>

Option client_secret.
OAuth Client Secret.
Leave blank normally.
Enter a value. Press Enter to leave empty.
client_secret>

Option box_config_file.
Box App config.json location
Leave blank normally.
Leading `~` will be expanded in the file name as will environment variables such as `${RCLONE_CONFIG_DIR}`.
Enter a value. Press Enter to leave empty.
box_config_file>

Option access_token.
Box App Primary Access Token
Leave blank normally.
Enter a value. Press Enter to leave empty.
access_token>

Option box_sub_type.
Choose a number from below, or type in your own string value.
Press Enter for the default (user).
1 / Rclone should act on behalf of a user.
\ (user)
2 / Rclone should act on behalf of a service account.
\ (enterprise)
box_sub_type>

Edit advanced config?
y) Yes
n) No (default)
y/n>

Use auto config?
* Say Y if not sure
* Say N if you are working on a remote or headless machine

y) Yes (default)
n) No
y/n>

2022/08/12 14:51:34 NOTICE: If your browser doesn't open automatically go to the following link: http://127.0.0.1:53682/auth?state=xxxxxxxxxxxx
2022/08/12 14:51:34 NOTICE: Log in and authorize rclone for access
2022/08/12 14:51:34 NOTICE: Waiting for code...
2022/08/12 14:58:36 NOTICE: Got code
Configuration complete.
Options:
- type: box
- token: {"access_token":"XXXxxxYYYyyy","token_type":"bearer","refresh_token":"AAAaaaBBBbbb","expiry":"2022-08-12T16:01:25.35476+09:00"}
Keep this "box" remote?
y) Yes this is OK (default)
e) Edit this remote
d) Delete this remote
y/e/d>

Current remotes:

Name Type
==== ====
box box

e) Edit existing remote
n) New remote
d) Delete remote
r) Rename remote
c) Copy remote
s) Set configuration password
q) Quit config
e/n/d/r/c/s/q> q

GCS の設定