マガジンのカバー画像

データエンジニア

26
運営しているクリエイター

#データ

社員インタビュー:データエンジニアの仕事とリモートワークを充実させる方法

社員インタビュー:データエンジニアの仕事とリモートワークを充実させる方法

こんにちは。データ・エージェンシー採用担当です。当社は、データエンジニアリングとGoogle Cloudの融合でビジネスを成功に導く、データのプロフェッショナル集団です。

今回はデータエンジニア担当、生水さんを紹介します。データ・エージェンシーに入社したきっかけや、データエンジニアの仕事の魅力などについて聞きました。

データ領域の仕事に興味がある方に、ぜひ読んでいただきたいインタビューです。

もっとみる
将来のスタンダードかも?dbtが優れている点5選

将来のスタンダードかも?dbtが優れている点5選

データエンジニアリング界隈でじわじわと輪を広げつつあるdbtですが、何が優れているのかを見てみましょう

1. バージョンコントロールもはやなくてはならないバージョンコントロールですが、dbtはgitとネイティブに統合できてスムーズです。
他の類似サービスはほとんどバージョン管理ができないので頭一歩突き出ていますね。

2. シンプルで直感的DRY原則をモットーに構築されているdbtだとものの数分

もっとみる
マネフォの管理会計基盤の紹介〜データ組織を立ち上げたらまずここを握れ〜

マネフォの管理会計基盤の紹介〜データ組織を立ち上げたらまずここを握れ〜

イントロダクションこんにちは。マネーフォワード データ戦略室 分析推進部のササキです。

今回は、マネーフォワードで全社横断のデータ分析組織を立ち上げていく過程で構築した管理会計基盤について紹介させていただきたいと思います。
と言ってもデータモデリング寄りの技術的な話ではなく、構築から4年が過ぎたこの基盤について、どちらかというと運用的な観点でやっておいてよかったことや、やっておけばよかったことが

もっとみる
AI開発に欠かせないデータマネジメントの課題と対策

AI開発に欠かせないデータマネジメントの課題と対策

こんにちは、LPIXELの研究開発本部 データ&プロジェクトマネジメントグループの杉江です。
データ&プロジェクトマネジメントグループは専門のデータマネジメント部署であり、医療AIの開発や薬事申請に利用するデータの準備や社内のデータの一元管理を行なっています。

医療データを利用するためには、下記のようなプロセスを経る必要があります。今回はデータマネジメントのプロセスの中で、特に課題となっているデ

もっとみる
データ分析基盤の構築、誰が引っ張るのか問題

データ分析基盤の構築、誰が引っ張るのか問題

前回は「小売のデータ分析って何が便利なの?」という内容をまとめました。
なんか色々なメリットが期待できそうだなぁと思う反面、これを実現しようとしたらものすご~く時間もお金もかかってしまうんじゃないかという懸念もありますよね。
「何ができるのか?」もとても大事なのですが、企業や仕事で利用する場合「実現するために事業社として何が必要なのか?」「どれぐらいコストがかかるのか?」などもしっかりおさえておい

もっとみる
最初からリッチなデータ基盤に手を出して失敗しないために【データ利活用の道具箱#7】

最初からリッチなデータ基盤に手を出して失敗しないために【データ利活用の道具箱#7】

データ利活用を進めるにあたり、避けては通れないのがデータ基盤です。
データ基盤とはデータを収集・管理・分析するためのシステム群のことです(イメージとしては後述の目次の「一般的なデータ基盤」を参照)。
そんなデータ基盤ですが、いざ作ろうとするといろいろな悩みがあります。

あれもしたい、これもしたい、で気づけば大規模のデータ基盤になってコスト試算してみるととんでもない額になり投資の承認が下りない

もっとみる
データ基盤を構築してもビジネス部門のデータ活用はなぜ進まないのか?

データ基盤を構築してもビジネス部門のデータ活用はなぜ進まないのか?

概要

データ基盤の構築やセルフBIツールの導入、プログラミング研修を導入しても、ビジネス部門でのデータ活用が進まないことはありませんか?実は、ビジネス部門とエンジニアリング部門(基盤担当)間でコミュニケーションコストが増加し、両者が疲弊している可能性があります。この問題を解決するためには、「コラボレーションのための仕掛け」が不足しているのかもしれません。
データ活用を推進するためには、ビジネス部

もっとみる

第3回 データモデリング?どのレベルでやるの?(2023/11/15 SnowflakeJP デタマネ UserGroup)

こんにちは。Snowflakeのデタマネユーザーグループ(デタマネ会)の佐川です!
普段はSIerで通信系のお客様向けにデータ基盤開発をしています。

デタマネ会では毎週第一金曜日に、データマネジメント関連で気になるテーマをディスカッションしてノウハウ共有しています。
詳細はこちら。

今回は第3回11/9(木)のデタマネ会のディスカッション内容をお届けします!

第3回テーマは
『データモデリ

もっとみる
データマートのモデリングとパフォーマンスチューニング

データマートのモデリングとパフォーマンスチューニング

はじめにデータエンジニアリングが興隆してから数年が経ち、各企業がデータ基盤に注力し始めたり、知見が溜まり始めています。
そんな流れがある中、データマートの乱立やパフォーマンスで悩んでいる方が多いのではないでしょうか?

そこで、本記事では重要な分析基盤の1つであるデータマートに焦点を当てつつ、データ基盤のデータモデリングから構築、運用に至るまでの手法と考え方を解説していきます。

データマートの目

もっとみる
2024年版:データエンジニア向け推薦本リスト

2024年版:データエンジニア向け推薦本リスト

世間ではデータエンジニアリングが流行しており、エンジニアからは人気が出て、企業からはその能力が求められています。
データエンジニアは、データの収集、蓄積、分析、活用に必要なデータ基盤を構築・運用する職種です。データエンジニアとして活躍するためには、非常に幅広い知識と能力が求められます。

データベース

プログラミング

システム開発

クラウドサービス

データ分析

etc…….

私は多少デ

もっとみる
データエンジニアってどうやって発展してきたの?

データエンジニアってどうやって発展してきたの?

「データエンジニアリングの基礎」読んでますか?
私はツェッテルカステンでコーネルメソッドなメモを取りながらの読書なので遅々として進みません😊

ところで今まで色々と技術系の「今日の技術」を書いてきましたが、データエンジニアの歴史は全然知らないなーと思い、「データエンジニアリングの基礎」の1.1.3「データエンジニアの発展」を自分の言葉で訳してみました。

データエンジニアリングの将来を語る上で欠

もっとみる
データエンジニアのことがちょっとだけわかるnote

データエンジニアのことがちょっとだけわかるnote


データエンジニアってどういう人?このnoteを書いたモチベーション

今、データエンジニアの需要が少しずつ高くなってきています。

元々、データエンジニアリングの分野自体の歴史は古く、インターネットが広まる前からありました。当時はデータベースエンジニアと呼ばれ、主にOracleやMicrosoft SQLといったリレーショナルデータベース、簡単に言うと表形式のデータを扱うことが多かったですが、そ

もっとみる