「データエンジニア」という職種
はじめに
以下のような記事がありました。
データエンジニアは企業のデータ活用とデータサイエンティストの業務に必要不可欠な職種です。現段階で求人は希少ですが、多くの企業がデータ活用を進めつつある昨今の流れを踏まえると、今後10～20年は確実に重用されるであろう期待の職種なのです。
こんなことを書かれると
「おっ、ええやん。転職しようかな」
という声も聞こえてきそうですが、今回はこのデータエンジニアについて改めて整理していきます。
デジタルスキル標準における「データエンジニア」
ちなみに、IPAのデジタルスキル標準にもデータエンジニアというロールが規定されています。
一言でいうと、データ分析環境を設計し、実装し、運用する人です。
「データエンジニア」は、データ活用基盤として、リアルタイム、動的（dynamic）、自動（automatic）に最適化されるようなデータ分析環境を設計・実装・運用する役割を担う。
上のような役割を担うため、「データエンジニア」には、「バックエンドシステム開発」や「クラウドインフラ活用」に関しても、ソフトウェアエンジニアと同等の高い実践力が求められる。
https://www.ipa.go.jp/jinzai/skill-standard/dss/about.html
有料部分に詳細の解説文を書きましたが、要するにバックエンドシステム開発やクラウドインフラ活用などのスキルを持ち、ソフトウェア・システム構築の実務がこなせる人材が務める職種であると言えるでしょう。
この職種は「昔からあった」
ところで、この記事を見たあと、「データエンジニア」について書かれた記事をいくつも読んでみたのですが、その結果すごく違和感を持ちました。それは
「このような職種、昔からあったのでは？」
というものでした。たとえば、先に挙げた記事では
データエンジニアの仕事は、一言で説明すると「大規模データ基盤の構築・運用」です。「データ基盤」とは何かぱっと具体的にはイメージしづらいかもしれませんが、ここでは「データの取得・保管・加工・分析・提供を担う一連のシステム群」と考えてください。
そもそも、データは最初から理想的な状態では存在していません。生データを取得した後に、段階的に加工することで初めてデータ分析に利用できる形になるのです。用途が多岐にわたる場合は、データ形式を「機械学習」「分析向けDB（データベース）」など提供先のソフトウエアの種類に合わせて整えたり、再加工の可能性を考慮して途中でスナップショット（バックアップのようなもの）を確保したりする必要があります。
と書かれていますが、
「いや、データを扱うってそういうことやん。機械学習に限らんやん。」
と感じたのです。
「データエンジニア」と「データ活用基盤」
データエンジニアについて考える時に、もう一つ注目すべきことがあります。それは、上記文中にもあった「データ(活用)基盤」と呼ばれるものです。これが何を指すかも様々ですが、たとえば、DX白書2023では以下の通りに示されています。
ここから先は
¥ 100
課金してくれるととても嬉しいです。シェアしてもらっても嬉しいです。「いいね」も嬉しいですし、フォローも嬉しいです。要するに、どんなことでも嬉しいです。