【動画レポ】DWCのデータ連携Tips 〜SAP Inside Track Tokyo 2023より
今年もSAPを愛する人達のイベントChillSAPさんの「SAP Inside Track 2023」がオンラインで開催されました。年一回のイベントですがSAP TechEDなどからのフィードバックなど様々な有益な情報が溢れているイベントです。こちらの動画が公開されていますので、気になったセッションをピックアップして勉強してみたいと思います。
<sit Tokyo2023のサイト>
<動画です>
スピーカー紹介
椛田 后一(かばた きみかず)
SAPジャパン株式会社
SAPのデータマネジメント製品の日本でのビジネス開発/展開
本セッションは「データ管理&分析」です
SAP Data Warehouse Cloud 仮想データアクセス
仮想データアクセス
・仮想テーブルを通じてリモートのデータに透過的にアクセス
・SAP DWCにアクセスすればいろいろなデータにアクセスできる
・スナップショットを利用してデータトラフィックを抑える
・リアルタイムレプリケーション(レプリカテーブル)
・S4のCDSViewをドラッグ&ドロップして仮想テーブルを作る
・スナップショットやレプリカを指定できる
仮想データアクセスの魅力と甘い罠
実際のシステム構成
・DP Agent:スナップショットやレプリケーションを管理
・仮想テーブルに対してSQLを投げる(Push Down)
リモートテーブルに検索を引き継いで処理させる
・性能が出ないときにはレプリカテーブルを作る
だけど現実は・・・
・仮想データアクセスだけで済ませたくなる
・本番データでは性能が出ない、不安定になる
・レプリケーションしたかったけど制約がある
Change Data Captureがソースシステムに必要
ビューはスナップショットしかできない
S/4のCDS Viewではリアルタイムレプリケーション可能
・大量のデータをAP層で流す時にメモリ枯渇エラーが出る
・Push Downが効かずに大量のデータが流れてしまう
・大量データが流れてDP Agentが不安定になる(負荷分散も可)
⇒良いところは多いが、大量データアクセスに関しては検証が必要
・CDC(Change Data Capture)できるものは利用可能
・データ量が多いものは仮想テーブルをパーテション化する
神に試されている時
標準機能で解決しない時
・プラスアルファの工夫やインプリ
・将来的な機能拡張に期待
・色々な工夫
(1)ビューの元となるテーブルに対して仮想テーブルを作成
ソースシステムと同じビューを作成
・最も簡単な対策
(2)ソースシステム側にビューを作成
・(1)ができない場合
・直近の更新頻度の高いビューと過去のビューを分ける
それに対して仮想テーブルを作る(unionで結合)
(3)DWC側にビューを作成
・ソースシステムにビューを作りたくない場合
・仮想テーブルに対して直近と過去のそれぞれのビューを作る
・直近のデータは物理的に保持をしてNWでアクセスさせない
・unionで縦結合する
(4)DWC側に複数の仮想テーブルを作成
・接続を2つ作り、仮想テーブル自体を2つつくる
・直近は透過アクセス、過去のデータはスナップショット
メッセージ
仮想データアクセス/リアルタイムアプリケーションを試してみてください
・SAPに関わるエンジニアはリアルタイムにこだわりましょう
・SAPに関わるエンジニアは性能にこだわりましょう
・SAPに関わるエンジニアは知恵を出して工夫しましょう
<公式ユーザ会JSUGからの紹介ページ>
最新ニュース
Data Cloudの名称が「Datasphere」になりました
・大幅に機能拡張されました。
<公式ユーザ会JSUGからの紹介ページ>