開課前:先把環境裝好
上課第一週就會用到終端機、VS Code、Git 和 Docker。上一班的裝機教材整理在資料館「前傳・開工前環境安裝」(S0–S10):從 ETL 全貌與架構圖 開始,依序 WSL+Terminal、VS Code、Git 入門課、Python 環境、Docker 安裝。Windows 先裝 WSL,Mac 直接用 Terminal;裝到一半卡住,左下角送件鴿或 Discord #觀眾服務台 喊一聲。
這一站在做什麼
這是開課第 1 週的說明會,講的是「學期專題」這套機制怎麼運作。你會知道課程分哪幾個階段、資料工程師的養成路徑長什麼樣,以及為什麼整學期用一個專題貫穿。 重點是三個專題里程碑:期初畫流程圖、期中寫出個人 pipeline、期末和團隊交付完整系統。這一站沒有正式繳交,但有一題要你寫下來,學期結束前會回頭看。
流程
講座分成 8 個段落,依序進行:
| 時段 | 環節 | 你要做的事 |
|---|---|---|
| Part 0 | 為什麼是 DE?5 個心裡的問題 | 聽「AI 會不會取代我」「DE 為什麼難取代」等 5 個問題的回答 |
| Part ① | 課程怎麼進行 | 了解期程、四大學習階段、模組一~四課程表、一週節奏、實體活動里程碑 |
| Part ② | 你的 DE 養成路徑 | 看懂必修→補強→自學三層架構、Roadmap 4 階段、8 種進階架構 |
| Part ③ | 為什麼用「專題」貫穿 | 理解「理解流程 → 動手實作 → 完整交付」三層能力;回答「一起想想」 |
| Part ④ | 三個專題里程碑 | 認識期初、期中、期末三場活動各做什麼;回答「一起想想」 |
| Part ⑤ | 期末團專方向 | 學三軸選題公式、主題 A–H、自訂題目 4 問;回答「一起想想」 |
| Part ⑥ | 評分標準 | 看團隊 100 分與個人 100 分的配比;回答「一起想想」 |
| Part ⑦ | 給學員的話+補充資料 | 知道怎麼累積素材、卡關找誰、投入強度、補充資料在哪 |
四大學習階段
| 階段 | 重點 |
|---|---|
| 基礎入門 | Python、爬蟲、資料清理、API、MySQL、MongoDB |
| 核心技能 | ETL、Docker、Airflow、GCP、BigQuery |
| 實作輔導 | 專題製作、團隊協作、上機 Lab |
| 就業支持 | 履歷、模擬面試、企業媒合 |
三個專題里程碑
| 里程碑 | 時間點 | 做什麼 | 產出 |
|---|---|---|---|
| 期初工作坊:資料專案模擬室 | 開課初期 | 3~4 人小組,紙筆畫資料流程圖 | 一張 A3 流程圖海報 |
| 期中工作坊:AI × 資料工程顧問團挑戰賽 | 課程過半 | 個人實作、團隊智囊,跑完四關 | 個人 GitHub Repo |
| 期末團體專題 | 課程尾聲 | 5-6 人團隊,自選或出題主題 | 完整系統+技術文件+Demo 簡報 |
期末選題公式
選 1 個主題 + 用全部基礎工具 + 挑 1-2 個進階架構深入
- 主題軸:A 房地產/B 就業/C 社群/D 金融市場/E 多媒體/F 運動/G 政府開放資料/H 自訂
- 基礎工具軸:Python、SQL、pandas、Git、Docker、Streamlit、資料庫、GCP/AWS
- 進階架構軸:Batch ETL、Web Scraping Pipeline、Streaming、Medallion、CDC、Lakehouse、dbt、Mage/Prefect/Dagster
自訂題目前先自問四件事:問題明確嗎?資料拿得到嗎(今天就能下載前 100 筆)?能展現 DE 技術嗎(至少 3 個環節)?時間壓得下來嗎(用 2 倍預估)?
評分標準
| 軌道 | 項目與配比 |
|---|---|
| 團隊 100 分 | 技術實現與架構設計 50%/團隊合作與分工 35%/專題報告與展示 15% |
| 個人 100 分 | 個人技術貢獻 50%/團隊合作與溝通 50% |
一起想想(Part ③~⑥ 結束前)
沒有對錯、沒有作答時限:
- 你以前學過什麼東西是「做中學」的?
- 看別人作品時,你會先被什麼吸引?
- 想像一個你能驕傲分享的專案,它會解什麼問題?把它寫下來。
- 8 個產業情境裡,哪一個跟你過去的工作或生活最有連結?
- 如果做一個主題能解決一件現實生活中的不便,你會解什麼?
- 在團隊裡你比較像規劃者、執行者,還是協調者?
- 面對技術卡關,你的第一反應是什麼?
你要帶走的成果
- 一句話:Part ③ 第 3 題寫下的「我想做的專案會解什麼問題」,學期結束前會回頭看
- 一張三里程碑時間線:知道期初、期中、期末各自要交什麼
- 期末選題的三軸公式,以及自訂題目的四個自我檢核
- 團隊與個人雙軌評分的配比
- 卡關求助順序:AI → 組員/同學 → TA → 講師
- 一個個人 GitHub Repo 的習慣:每週作業都存進去,為團專鋪路
事前準備
無。
跟專題的關係
這一站畫出整條主線:期初海報架構 → 期中個人 Pipeline → 期末團隊系統。你在 Part ③ 寫下的一句話是整條主線的起點,期初工作坊會先用紙筆把一個資料專案的流程想清楚。學期間每週作業存進自己的 repo,期中、期末都會用到。

送件鴿飛出去了