【dbts2024 レポート】レガシーシステム Db2 for i の大規模データをGoogle BigQuery に連携したケースにおけるELT処理ポイント解説
こんにちは、製品本部の芳賀です。
db tech showcase 2024 初日のA5セッションである「レガシーシステム Db2 for i の大規模データをGoogle BigQuery に連携したケースにおけるELT処理ポイント解説」のレポートをお届けします。
セッション概要
最近弊社にはレガシーな環境下のデータをGoogle BigQuery などのクラウドDWH に連携し、よりスピーディかつアドホックなデータ分析・ビジネス上の意思決定につなげたい、という相談がよく寄せられます。
しかしながら、単純にデータを持っていく、というアプローチにおいても大規模データの場合、アーキテクチャやそれぞれのAPI の性質を理解し考慮しなければパフォーマンスや運用面などで課題が発生してしまいます。
今回のセッションでは実際にDb2 for i に格納された大規模データをクラウドDWH・BigQuery に連携したケースを元に、データレプリケーションの勘所、それぞれのインターフェースやアーキテクチャの考慮ポイントをDb2 for i のプロフェッショナルであるベルデータ様と一緒に解説します。
スピーカー名：CData Software Japan合同会社
パートナーサクセス
リードエンジニア
杉本 和也 様
ベル・データ株式会社
アプリケーションビジネス本部
セールスプロフェッショナル
安達 美知政 様
はじめに
IBMの基幹システムであるレガシーなIBM i（AS400）のデータをクラウドのデータ分析基盤へ連携して分析をするためのポイントを紹介いただきました。
セッション内容まとめ
レガシーなAS400のDB2のデータを変換し、ユーザー定義関数を作成することでカスタムクエリにて設定が可能となった。
空白をデータとしてＥＴＬ処理してしまうと無駄なデータを持って行ってしまうため、クレンジングが必要。
連携方式（ジョブ、クエリ、ストリーミング）を使い分けないと時間がかかるなど問題が出ることがある。
聴講した感想
AS/400は大企業の基幹システムとして長年利用されてきましたが、データ分析の観点では課題がありました。しかし、AS/400のデータをBigQueryに簡単に連携できるようになったことで、AS/400のデータを活用したデータ分析が容易になったと評価できます。
AS/400とBigQueryの連携を実現するためのツールや手順の説明があり、具体的な利用シナリオも紹介されていたため、AS/400を使っている企業にとって非常に参考になる内容だと感じました。
AS/400システムの課題を解決し、クラウド上のデータ分析基盤と連携できるようになったことは、デジタルトランスフォーメーションを進める上で重要な一歩だと感じました。
アーカイブ動画配信のご案内
db tech showcase 2024は、期間限定でアーカイブ動画を配信中です。
本イベントのセッションをオンラインでご視聴いただけるほか、講演資料のダウンロードも可能です。継続公開が決まったdb tech showcase 2023のセッション動画も含め、約130本の動画を自由に見ていただけます。
※一部対象外セッションあり