マガジンのカバー画像

データエンジニア

26
本
運営しているクリエイター
まーさん/Data Scientist@多国籍チーム

#ビッグデータ

Puuuii | 伝える技術と心理学で戦うデータエンジニア

Puuuii | 伝える技術と心理学で戦うデータエンジニア

将来のスタンダードかも？dbtが優れている点5選

将来のスタンダードかも？dbtが優れている点5選

データエンジニアリング界隈でじわじわと輪を広げつつあるdbtですが、何が優れているのかを見てみましょう

1. バージョンコントロールもはやなくてはならないバージョンコントロールですが、dbtはgitとネイティブに統合できてスムーズです。
他の類似サービスはほとんどバージョン管理ができないので頭一歩突き出ていますね。

2. シンプルで直感的DRY原則をモットーに構築されているdbtだとものの数分

もっとみる
zono

zono

分析基盤のテーブルと連携方式

分析基盤のテーブルと連携方式

分析基盤においては様々な連携手法があります。
これは、データ量が多いか少ないか、データソースが最新か履歴か、によって変わってきます。
今回は、連携手法を紹介しながら、その連携に必要なテーブルの特徴について話したいと思います。

連携元と連携先のテーブル連携元のテーブルは、最新テーブルになっている場合も履歴テーブル（インサートオンリー）の場合もあります。これはアプリ側の仕様によって異なります。多くの

もっとみる
zono

zono

データマートのモデリングとパフォーマンスチューニング

データマートのモデリングとパフォーマンスチューニング

はじめにデータエンジニアリングが興隆してから数年が経ち、各企業がデータ基盤に注力し始めたり、知見が溜まり始めています。
そんな流れがある中、データマートの乱立やパフォーマンスで悩んでいる方が多いのではないでしょうか？

そこで、本記事では重要な分析基盤の1つであるデータマートに焦点を当てつつ、データ基盤のデータモデリングから構築、運用に至るまでの手法と考え方を解説していきます。

データマートの目

もっとみる
zono

zono

2024年版：データエンジニア向け推薦本リスト

2024年版：データエンジニア向け推薦本リスト

世間ではデータエンジニアリングが流行しており、エンジニアからは人気が出て、企業からはその能力が求められています。
データエンジニアは、データの収集、蓄積、分析、活用に必要なデータ基盤を構築・運用する職種です。データエンジニアとして活躍するためには、非常に幅広い知識と能力が求められます。

データベース

プログラミング

システム開発

クラウドサービス

データ分析

etc…….

私は多少デ

もっとみる
Puuuii | 伝える技術と心理学で戦うデータエンジニア

Puuuii | 伝える技術と心理学で戦うデータエンジニア

データエンジニアってどうやって発展してきたの？

データエンジニアってどうやって発展してきたの？

「データエンジニアリングの基礎」読んでますか？
私はツェッテルカステンでコーネルメソッドなメモを取りながらの読書なので遅々として進みません😊

ところで今まで色々と技術系の「今日の技術」を書いてきましたが、データエンジニアの歴史は全然知らないなーと思い、「データエンジニアリングの基礎」の1.1.3「データエンジニアの発展」を自分の言葉で訳してみました。

データエンジニアリングの将来を語る上で欠

もっとみる