拍攝衝刺・期中挑戰賽

這一站在做什麼

這一站的活動叫「AI × 資料工程顧問團挑戰賽」，形式是引導式挑戰賽：工作坊的骨架加上黑客松的節奏。你要把期初「資料專案模擬室」畫的流程圖做出來，並第一次把 AI 接進資料流程。 執行方式是「個人實作、團隊智囊」：每個人獨立跑完 4 關，作品是你自己的；同組 5–6 人互相討論、共享經驗。Starter Code 提供基本盤，進階任務給想多做的人。 這次的產出不是一次性作業，它會隨後續課程一路升級，最後成為你結業專題的基礎。

流程

時段	環節	你要做的事
關卡 1（25 分鐘）	需求拆解	和 AI 扮演的虛擬客戶對話，追問模糊需求，寫成個人需求規格書
關卡 2（40 分鐘）	資料取得與處理	在 Colab 用 pandas＋SQL 讀取與清洗資料，在 Starter Code 填入關鍵邏輯
關卡 3（40 分鐘）	AI 加值分析	用 llm_helper.py 批次呼叫 LLM，替資料加上 AI 欄位
關卡 4（25 分鐘）	整合交付（自選）	選 Demo 簡報、Streamlit Dashboard 或兩者都做，展示個人成果
課後	上傳與升級	第一天把 repo 上傳 GitHub，之後隨課程升級

活動前提是你已學過 Python／pandas、SQL、FastAPI 基礎與基礎 ETL；Docker、Airflow、GCP 尚未學，不在這一站的範圍。

四關怎麼過

關卡 1：需求拆解

• 目標：客戶需求是模糊的。透過追問，把它釐清成可以實作的範圍
• 工具：AI 扮演虛擬客戶（ChatGPT／Claude 等對話工具）
• 產出：個人需求規格書 docs/requirements_spec.md
• 可參考 Starter Repo 每題附的 requirements_spec.md 結構：情境、你的角色、使用者、資料來源與欄位、MVP Scope、預期產出、成功指標

關卡 2：資料取得與處理

• 目標：把原始資料讀進來、清洗乾淨、算出統計摘要
• 工具：Google Colab＋pandas＋SQL；Starter Code 已寫好框架，你填關鍵邏輯
• 產出：清洗後的 DataFrame＋統計摘要
• Starter Repo 的 pipeline_starter.ipynb 每段開頭有「完成標準」，照 Section 順序做；想多做可改用 pipeline_challenge.ipynb

關卡 3：AI 加值分析

• 目標：把 LLM 接進資料流程，替清洗後的資料加上分析欄位
• 工具：llm_helper.py 批次呼叫 LLM，做情緒判斷、分類、摘要或異常偵測
• 產出：AI 加值欄位與洞察
• 沒有 API Key 時，Starter Repo 提供規則版 fallback，一樣能完成這一關

關卡 4：整合交付（自選）

• 目標：把前三關的結果整理成別人看得懂的成果
• 工具：三選一
  • A：Demo 簡報
  • B：Streamlit Dashboard（以 app.py 模板為基礎）
  • C：兩者都做
• 產出：個人成果展示

AI 使用原則

用法	是否允許
用 ChatGPT／Claude 生成 pandas／SQL	允許
用 AI debug 錯誤	允許
用 LLM API 做分類／摘要	允許
用 AI 產出 Pipeline 文件草稿	鼓勵
完全貼上自己不了解的程式碼	不建議

情境題庫

題庫共 8 題，活動採「8 選 5」，每人從開放的題目中選一題：

#	情境	難度
1	餐飲 POS	★★
2	電商比價	★★
3	金融客訴	★★
4	Spotify 音樂	★★
5	新聞輿情	★★★
6	房價	★★
7	天氣×零售	★★★
8	PTT 聲量	★★★

你要帶走的成果

一個屬於你自己的 repo，結構如下：

README.md
requirements.txt
notebooks/pipeline.ipynb
data/raw/
data/processed/
app.py                      ← Streamlit 模板
docs/requirements_spec.md   ← 關卡 1 的需求規格書

• 個人需求規格書（關卡 1）
• 清洗後資料與統計摘要（關卡 2）
• AI 加值欄位與洞察（關卡 3）
• Demo 簡報或 Streamlit Dashboard（關卡 4）
• 一份說明 README：寫清楚問題、資料來源、清洗邏輯、LLM 做了什麼、怎麼執行、為什麼這樣設計、還缺什麼

事前準備

• 帶筆電（充飽電＋充電器）
• GitHub 帳號（個人帳號，活動前完成註冊）
• 確認 Google Colab 能正常開啟
• 回頭看一次期初工作坊拍下的流程圖海報
• LLM API Key（選配；沒有也能用 fallback 完成）

跟專題的關係

期中產出是一個會持續升級的長期作品。課後第一天先上傳 GitHub，之後跟著課程逐步升級：Colab → Docker 容器化、Streamlit 本地 → docker compose、手動執行 → Airflow 排程、CSV → PostgreSQL／BigQuery、本地 → Cloud Run 部署。升級到最後，這個 repo 就是你結業專題的基礎。