シェア
はじめにリアルタイムデータ処理では、データパイプラインの継続的な運用が求められます。しか…
最近では、データ基盤が整備されてデータ利活用が進む企業が増えてきています。企業が抱える膨…
はじめに個人情報保護が求められる現代において、データの匿名化は非常に重要なプロセスです。…
分析基盤においては様々な連携手法があります。 これは、データ量が多いか少ないか、データソ…
1. ストリーム処理とバッチ処理の基本概念1.1 バッチ処理とは バッチ処理は、一定期間に蓄積…
はじめにデータ分析基盤の設計は非常に重要な役割を果たしており、データエンジニアは、初期設…
はじめに データエンジニアにとって、データの修正は避けて通れない課題です。特に、顧客に直接影響を与えるデータにおいては、データの整合性と正確性が極めて重要です。データベース、データウェアハウス（DWH）、データマートに保存される情報が最新かつ正確であることが求められます。 本記事では、データの修正を行う過程や修正プロセスにおけるデータ管理の重要性、その手法について紹介します。 1. 修正前後のデータの比較画像に示されたローン契約データの修正前後の比較を基に、データソース
誤ったデータが混入する主な原因データ入力プロセスで発生する問題 皆さんもご存知の通り、入…
