BigQuery料金モニタリングレポート【GA4・Search Console対応】
GA4・Search Consoleに対応したBigQuery料金モニタリングレポート
当記事の内容はGA4とSearchConsoleのデータエクスポート及び、そのデータ抽出にかかるBigQueryの使用状況をLooker Studioでモニタリングする方法についての解説記事になります。なので正確にいうと、BigQueryの「料金」ではなく料金が発生するまでの「利用データ容量」をモニタリングするという方が正しくなります。そのため、対象ユーザーとしてはすでに企業の大規模サイトでBigQueryを使用して、その料金のモニタリングを可視化するといったニーズに応えるものではなく、個人ユーザーがブログのデータ（GA4・Search Console）をBigQueryに蓄積しているが、今どの程度、BigQueryの無料枠の中で収まっているかを確認するためのレポートとなるのが、今回提供するモニタリングレポートとなります。
というのも個人ユーザーがブログのデータを蓄積するためにBigQueryを使用するという条件では、BigQueryの使用料金が既に発生しているというよりも、圧倒的にBigQueryの使用料金が発生していないユーザーが大半ではないでしょうか？ 逆に既にBigQueryのストレージ料金が発生してしまうほど大規模なサイトを運用しているのであれば、すでに料金モニタリング環境は構築済みであると思うので、あまりこの記事は参考になることはないかと思います。
では小規模なブログサイトではBigQueryの料金を気にする必要がないのかといえば、あまりよろしくありません。というのも遅かれ早かれどこかのタイミングでストレージ料金はかかってしまうので、データ利用状況をモニタリングしていくことは必須といえます。
また分析料金に関しては、月に1TBの無料枠があるため、「気にする必要がない」という意見もあります。確かに、ただデータを蓄積するだけでは、分析料金はかからないので気にする必要はないです。ですが、私が提供しているようなLooker Studioでのレポーティングにおいてデータの抽出元がBigQueryであるようなケースでは、利用状況によっては気にする必要があるケースが発生することもあり得ます。利用状況というのは、データの蓄積規模とレポートの発行回数によっては1ヶ月の無料枠の1TBを超えることもありえるからです。
もう少し詳しく解説すると、Looker StudioのようなBIツールでSQLを発行しているケース。この場合、Looker Studio上でビジュアライズに必要なSQLが自動生成されるため、予想外にSQLの発行容量が跳ね上げることがあるからです。例えば、1回のレポート生成で数TBものデータ容量がかかり、1回のレポート生成に数千円コストが発生するなどの事故も見たことがあります。このようなケースでは、大抵は計算する必要のないSQLがLooker Studio側で実行されているので、SQLそのものを見直すべきです。このような事故を防ぐにはモニタリングレポートよりもクエリ発行上限をかけるほうが適切となります。
BigQueryの料金体系について解説
これまで料金体系について触れずに解説してきましたが、簡単にBigQueryの料金体系について、また当レポートが対象としているユーザーが該当するであろう料金体系に絞り簡潔に解説します。
BigQueryの料金に関しての公式ページは上記のリンクになります。これを上から読んでいって一読して理解できるのであれば、相当頭が良いと思われるので、このnoteを閉じて公式ページから自身でLooker Studioのモニタリングレポートを構築することをお勧めします。
Googleの公式ヘルプは非常に分かり易い記述なのですが、全てが詳細に記載されているため、必要な箇所だけをピックアップして理解する上ではあまり適していないともいえます。そのため、ここでは最低限というかこれだけ理解しておけば、BigQueryの料金について怯える必要はないという状態まで引き上げることを目標とした解説を行います。
まずBigQueryの料金体系は定額料金（BigQuery Editions）とオンデマンド料金の支払いパターンを選べますが、とりわけ何か特別な理由がなければ定額料金を選択する必要はありません。明示的に選択しなければ自動的にオンデマンド料金が選択されます。オンデマンド料金とは使用した分によって料金が決まる料金体系なので、個人のブログのデータ蓄積・レポート生成くらいであれば、料金が発生することは当分の間はありません。
またオンデマンド料金の中でさらにストレージ料金と分析料金に分けられます。ストレージ料金とはBigQueryにデータを蓄積しておける保管料のようなもので、分類としてはアクティブストレージと長期保管の2種類に分類することができますが、今回のレポートはストレージ料金を大まかに10GBまで超えていないかを可視化できればよいので、アクティブストレージと長期保管に分類は省略します。※さらに論理と物理に区分できますが、現状「物理」はプレビュー版なのであまり気にしなくて大丈夫です。
分析料金とはデータの抽出料金のことでBigQueryに蓄積されたデータをSQLで抽出する際に発生する料金のことです。
これらストレージ料金と分析料金にはそれぞれ無料枠が設けられており、ストレージ料金は累計10GB（正確にはアクティブストレージと長期保存に対してそれぞれ10GB）まで無料。分析料金は月毎に1TBまで無料で利用することができます。
つまりまとめると、当レポートは常にできる限り無料枠で収めることを目的としており、ストレージ料金に関してはいずれは料金が発生しますが、どの程度まだ無料枠の空き容量があるかの目安が分かればよいという目的を達成するためのレポートを提供するものです（これは私のニーズでもあるので将来的にはレポートの改良を加えていきますが、大半のニーズが私と同じく無料枠で収める範囲で運用しているかと思います）そのため、ストレージ容量に関しては累計10GBまでどの程度到達しているか、分析容量に関しては月に1TBまで到達しない範囲で利用できているかを可視化するためのレポートを提供するものとなります。
① BigQuery｜ストレージ容量モニタリングレポート
私が運営している弱小ブログだからというのもあるのですが、GA4とSearch Consoleのデータを蓄積し始めて1年弱経とうとしていますが、それでも無料枠の約4％しか容量を使っていません。このことから大部分のブロガーにとってストレージ料金が発生するのは当分先とみていいかと思います。とはいえ、このレポートのようにどの程度データ容量の累計値があるのかは把握しておいた方がよいので、コストがかかる恐れはありませんが、心の安心の為に作成しているといった意味合いが強いといっていいでしょう。なので私のニーズがこれで事足りるので、これで良しとしていますが、ストレージ容量を10GBを超える日が近づけば、新たにレポートの改良を加えていく予定でいます。
またあまりあり得ないことだとは思いますが、何かGA4のイベント追加をした際は、念のためデータエクスポート量が大きく増えていないかを表の日次でデータ容量の推移を確認しておいた方がよいかと思います。
レポートの見方については解説不要かと思いますが、ストレージ容量の累計を進捗グラフでビジュアライズしており、ここをみておけば、どの程度無料枠の中での進捗具合なのかが分かります。表は日次で可視化しており、日次ベースで異常がないかの確認に使います。
② BigQuery｜分析容量モニタリング レポート
分析料金の無料枠は月に1TBなので、月毎にデータ進捗がリセットさえるレポートとなっています。1TBは1,000ギガバイトなので、1日約32GBの目安で分析クエリを発行することができる計算になります。そのための目安となるリファレンスラインを引いてあり、この線を常に下回っていれば月の無料枠を超えることはないと判断することができます。
進捗グラフはストレージ容量と同じ見方ですが、ストレージ容量と違って分析容量は1個人でも進捗の伸びがストレージ容量と違って早いことが分かります。なので、分析料金について全く気にする必要がないというのは言い過ぎで、どの程度、進捗しているのかは把握しておいた方がよいと言えます。
右のグラフは月毎の累計グラフになっており、月単位で分析容量の増減の比較を把握したときに役に立ちます。例えば先月と比べて分析容量が大きく増加していることにすぐに気付くことができます。ここからより詳細なレポートは次期Looker StudioとBigQueryのアップデートにより、Looker Studioのレポート単位でコスト計算ができるようになるらしいので、レポート単位でのモニタリングレポートも追加予定でいます。
レポートのPDF配信
レポートは決まった時刻にPDFでメール送信することができるので、設定しておくことをお勧めします。
有料noteの内容
有料エリアにはストレージ容量と分析容量レポートの作成にあたりSQL文とLooker Studioのレポートの雛形と設定内容について記載してあります。
前提条件
当レポートはGA4とSearch Consoleの管理画面において一般的な方法においてBigQueryのデータエクスポートをしていることを前提としています。別の何かしらの方法でGA4とSearch ConsoleのデータをBigQueryにエクスポートしているデータの可視化には対応しておりません。
注意事項
Looker Studioの当レポートの著作権は放棄していません。
他人への譲渡は厳禁です。
解説にも詳細に記載していますが、現時点では当レポートは料金に関するモニタリングではなく、料金が発生するまでの無料枠の中で、ストレージ容量及び分析容量の進捗を把握するためのレポートとなります。したがって無料枠を超えてからの課金に関してモニタリングするレポートではありません。
免罪事項
このレポートを使用したことにより、何らかのトラブルや損失・損害等が発生したとしても私（当noteの執筆者）は一切責任を問わないものとします。
レポートにSQL誤り・計算誤り・設定誤りが含まれている場合があっても私（当noteの執筆者）は一切責任を問わないものとします。
当レポートのBigQueryモニタリングレポートは[完全版]に同梱されています。Search Consoleデータを活用したダッシュボードとしてかなり作り込んであるので、単体で購入するよりもお得です。
ここから先は
この記事が気に入ったらチップで応援してみませんか？