アルファ版試作の段階で公開しています。内容は確認を続けており、ページの中身とアドレスは予告なく変わることがあります。
データと AI:データから価値を引き出す

データエンジニア

データを集め、加工し、分析できる形で蓄える基盤を作る。

SQLPythonデータウェアハウスETLクラウドのデータ基盤

中心になる層:具体技術、工学(どの職種でも、基礎は共通の土台です)

どんな仕事か

会社の中に散らばったデータを集め、加工し、分析できる形で蓄える基盤を作る仕事です。データを運ぶ処理(ETL)、データウェアハウス、クラウドのデータ基盤を設計し、データが正しく、遅れずに届くように運用します。分析やモデルを作る人たちの土台を支える職種です。

向いている人

データの流れや構造を整えることに面白さを感じる人、地味でも確実に動く仕組みを作りたい人に向いています。データ系の仕事の中では、ソフトウェア工学に最も近い職種で、バックエンドの経験が生きます。SQL を使うデータアナリストと並んで、データ系の入口として入りやすい職種だと筆者は考えています。

最初に学ぶこと

SQL と Python が中心です。データベースの設計(表の分け方、正規化)を理解し、次にクラウドのデータウェアハウスにデータを集めて加工する処理を自分で組みます。roadmap.sh の Data Engineer のロードマップが全体像になります。資格では、データベーススペシャリストが設計の理論を、クラウド各社のデータ系の資格が基盤の実務を示します。

つまずきやすいところ

動くものを作ることより、データの品質(欠け、重複、遅れ)を保つことの方が難しい仕事です。処理を作るときに、おかしなデータが入ったらどう気づくかを最初から考える習慣が、この職種の実力になります。

学ぶ道順

この職種で学ぶものを、進める順に並べています。順番は目安で、一度だけ通るものではなく、行き来しながら進めます。

  1. 手を動かして身につける

    主な技術を、小さなものを作りながら覚えます。全体像は roadmap.sh のロードマップで確かめられます。

    主な技術

    SQLPythonデータウェアハウスETLクラウドのデータ基盤

    roadmap.sh のロードマップ

  2. 考え方を体系で確かめる

    触った技術の背景にある考え方を、知識体系で確かめます。

    • DMBOK2b. マネジメント 隣接分野
    • CS2023(DM)1. 基礎 全体地図型
  3. 力を確かめる

    資格は、どこまで分かっているかを確かめる物差しとして使えます。

次に読む

「データと AI」のほかの職種

すべての職種を見る