GCP作業時の備忘録メモ

今現場で使ってるGCP環境で作業してる際の備忘録としてメモ残しておきます。
このブログに辿り着いた方に助けになる情報があれば幸いです。

随時更新しております。

GCP環境でできる内容を含んでます。
（主な作業内容は以下）
・BigQuery
・Cloud Function
・Google Storage

---

BigQuery上で起きたエラーまとめ

謎エラー

Error status
Error encountered during execution. Retrying may solve the problem.;

スケジュールクエリが失敗した際のエラーメッセージ。
エラーメッセージも具体的な箇所を教えてくれていないので謎。

スケジュールクエリを再実行したところで出るエラー内容は同じなのですが、手実行で同じクエリを動かすと正常終了する。。
正常終了するので、一旦はOKですが。詳細は調査中。

GCP環境自体がまだそこまで浸透してなさそうなので、、
というか上記エラーに関する情報が少ない….。

ただ１つ言えることはクエリ量が大きい。

日毎にパーティション化を切って更新している場合、総レコード数を確認した方がいいかもしれません。
日毎⇨月毎で正常終了できるのは確認できました。

配列使用時のエラー

Array index 2 is out of bounds (overflow)

Array index X(number) is out of bounds (overflow)

このエラーメッセージが出る場合、クエリに配列使ってる場合なので、配列箇所を見直しましょう。

配列は０からカウントなので、ここを間違えてる場合があります。
下記は修正例です。

# エラー修正済前
split(req_col,'-')[offset(1)] as hashed_req_col
,split(req_col,'-')[offset(2)] as hashed_req_col

#エラー修正済後
split(req_col,'-')[offset(0)] as hashed_req_col
,split(req_col,'-')[offset(1)] as hashed_req_col

参考：Athena BigQuery SQL文法 変換備忘録