AI & Data Dreamers練功房
ADMIT ONE ·載入中…工作室 →職涯服務個人設定登出登入／註冊
寶箱片場規則
資料工程師 資料分析師 資料科學家 機器學習工程師 AI 應用工程師
Data Engineer・職位指南

資料工程師

把資料從來源搬到能用的地方，而且每天準時、數字對得上。

自評進度
登入後記進度
FIT・適合誰
  • 喜歡把流程自動化、看到管線穩定跑完會有成就感
  • 對 SQL 與資料結構有耐心，願意追數字為什麼不對
  • 可以和分析師、資料科學家、主管三種人說話
DUTIES・職責

每天在做什麼

  • 設計與維護 ETL／ELT 管線（排程、重跑、補資料）
  • 建資料倉儲與資料模型（分區、累積表、維度表）
  • 資料品質監控：更新是否準時、筆數與欄位值是否異常、警報
  • 雲端與基礎設施：BigQuery／Snowflake／Spark、Docker、CI/CD
  • 與下游（DS／BI／決策者）對齊資料定義與 KPI 口徑
SKILLS・技能

必備

  • SQL：JOIN 類型、CASE WHEN 條件聚合、CTE、視窗函數、INSERT OVERWRITE 與 MERGE 差異
  • Python：資料結構、Big O、requests 串 API、Airflow DAG、pytest
  • 分散式計算：Spark DataFrame、分區設計、Parquet、Shuffle 與 Broadcast／Bucket JOIN
  • 資料品質與監控：資料檢查、異常偵測、Prometheus／Grafana

加分

  • Scala（靜態型別、Spark UDF 效能）
  • 串流：Kafka、Spark Streaming、Flink
  • dbt、Great Expectations、資料治理與去識別化
  • 商業思維：KPI 設計、A/B 測試基礎、所在產業的獲利模式
INTERVIEW・面試準備

會被問什麼

  1. SQL：聚合與視窗函數、JOIN 效能（Broadcast）、滾動計算（30 天移動平均）、INSERT／MERGE 使用情境
  2. Python：ETL 實作細節、Airflow DAG 管理、API 整合、PySpark UDF、pytest
  3. 系統設計：說清楚管線架構、擴充性與可維護性、分區與累積表、監控與資料品質驗證
  4. 作品集：能講出資料來源、處理步驟、品質控管、遇到的問題與怎麼解
  5. 溝通：用對方聽得懂的語言說資料影響了什麼決策
NEIGHBORS・相鄰職位邊界

和誰容易搞混

資料分析師

DA 用資料回答業務問題；DE 讓 DA 有乾淨、準時的資料可以問。

機器學習工程師

MLE 訓練與部署模型；DE 提供特徵資料與穩定的資料存取。

資料倉儲工程師／ETL 工程師／DBA

DE 的三個分支：倉儲建模、管線搬運、資料庫維運——頭銜不同，核心都是 SQL＋排程。

AI 應用工程師

AI 應用需要的檢索資料、向量索引與資料更新管線，常回到 DE 手上。

HEADHUNTER・與獵頭合作

怎麼跟獵頭談

  • 履歷關鍵字放工具名稱與規模：Airflow／Spark／BigQuery、每天幾條管線、幾 TB、延遲多少
  • 先問清楚職缺是「建新平台」還是「維運既有管線」——兩者要的人不同
  • 被問期望薪資時給區間並說明依據（年資、技術棧、是否 on-call）
  • 請獵頭回饋面試官的評語，一句也好，比自己猜準

初稿整理自 Dex 的文章：資料工程師完整入門指南 2026、資料工程師如何成長：從 ETL 雜工到技術專家、Python 轉職指南（資料工程師的多元選擇）。

SKILL BOARD・能力記分板

DE 出道路線圖

從 Python 到雲端管線——每個節點拉開有教材與題目；練習卷通關自動點亮，其餘讀完自己蓋章。

— 節點