データエンジニア

2023年9月20日 21:35

2023年版：データエンジニア向け推薦本リスト

世間ではデータエンジニアリングが流行しており、エンジニアからは人気が出て、企業からはその能力が求められています。
そもそもデータエンジニアは、データの収集、蓄積、分析、活用に必要なデータ基盤を構築・運用する職種です。データエンジニアとして活躍するためには、非常に幅広い知識と以下のような能力が求められます。

データベース

プログラミング

システム開発

クラウドサービス

データ分析

etc

もっとみる

Puuuii | 伝える技術と心理学で戦うデータエンジニア

2024年5月12日 06:59

将来のスタンダードかも？dbtが優れている点5選

データエンジニアリング界隈でじわじわと輪を広げつつあるdbtですが、何が優れているのかを見てみましょう

1. バージョンコントロールもはやなくてはならないバージョンコントロールですが、dbtはgitとネイティブに統合できてスムーズです。
他の類似サービスはほとんどバージョン管理ができないので頭一歩突き出ていますね。

2. シンプルで直感的DRY原則をモットーに構築されているdbtだとものの数分

もっとみる

zono

2024年4月19日 18:58

分析基盤のテーブルと連携方式

分析基盤においては様々な連携手法があります。
これは、データ量が多いか少ないか、データソースが最新か履歴か、によって変わってきます。
今回は、連携手法を紹介しながら、その連携に必要なテーブルの特徴について話したいと思います。

連携元と連携先のテーブル連携元のテーブルは、最新テーブルになっている場合も履歴テーブル（インサートオンリー）の場合もあります。これはアプリ側の仕様によって異なります。多くの

もっとみる

zono

2024年4月1日 19:46

データマートのモデリングとパフォーマンスチューニング

はじめにデータエンジニアリングが興隆してから数年が経ち、各企業がデータ基盤に注力し始めたり、知見が溜まり始めています。
そんな流れがある中、データマートの乱立やパフォーマンスで悩んでいる方が多いのではないでしょうか？

そこで、本記事では重要な分析基盤の1つであるデータマートに焦点を当てつつ、データ基盤のデータモデリングから構築、運用に至るまでの手法と考え方を解説していきます。

データマートの目

もっとみる

zono

2024年1月8日 08:38

2024年版：データエンジニア向け推薦本リスト

世間ではデータエンジニアリングが流行しており、エンジニアからは人気が出て、企業からはその能力が求められています。
データエンジニアは、データの収集、蓄積、分析、活用に必要なデータ基盤を構築・運用する職種です。データエンジニアとして活躍するためには、非常に幅広い知識と能力が求められます。

データベース

プログラミング

システム開発

クラウドサービス

データ分析

etc…….

私は多少デ

もっとみる

GENDA

2024年3月13日 16:42

【社員インタビュー #12】営業職から一念発起、データエンジニアへ。GENDAだから広げられる次の世界

「世界中の人々の人生をより楽しく」というAspiration（アスピレーション：大志）の実現を目指している株式会社GENDAで働くメンバーに、実際の業務内容や入社理由、やりがいなどを深掘りし、社内のリアルな声をお届けします！
今回は、IT戦略部でデータチームに所属する山口さんにお話を伺いました。

ー山口さんは、最初はエンジニア以外のキャリアでスタートされたそうですね。

そうなんです。私は文系だ

もっとみる

Akira Iwasaki @ DataMarket 🏙

2024年5月5日 19:00