資料工程高階・端到端的整合情境
可調整階段順序的管線、失敗後從中間階段續跑、兩個來源的黃金紀錄、上游出錯後的下游重跑順序。
這一頁是題幹試閱;登入/註冊後每題可以在瀏覽器裡執行、對答案,第一次交對 +10 XP。
- 01
可調整階段順序的管線
困難管線設計一條小管線把原始訂單列整理成每日彙總。原始每列是
order_id|date|amount(剛好 3 段,每段可能有前後空白)。有三個整理階段,加上最後的彙總:clean:每段去掉前後空白;amount 去掉所有逗號後用int()轉,轉不過去就丟掉;date 不是YYYY-MM-DD格式(長度 10,第 5、8 個字是-,其餘 8 個字都是 0–9)也丟掉。留下的列 amount 存成整數dedup:依 order_id 去重,保留第一次出現的列。比較的是 order_id 當下的字串,沒有先清理時A1與A1是不同的filter:amount 用int()轉得過而且大於 0 的留下,其他丟掉(還沒清理時 amount 是字串,int(" 300")可以轉,int("1,200")不行;已經是整數就直接比)agg:依 date 分組,算筆數與 amount 總和
管線設定是一行,以
>串接階段名稱。合法的設定:clean、dedup、filter各出現剛好一次(順序任意),最後一個是agg。依序檢查:出現不認得的階段名稱 →設定錯誤:未知階段 名稱(第一個不認得的);否則不合法 →設定錯誤:必須是 clean、dedup、filter 的排列再接 agg。輸入:
第 1 行:原始列數 n,接下來 n 行原始列
下一行:設定數 k,接下來 k 行管線設定
輸出:每個設定:
設定:接上設定原字串- 設定錯誤時印錯誤訊息,這個設定到此為止
- 否則前三個階段依執行順序各印一行
階段 輸入 a → 輸出 b(丟 c),接著依日期由小到大每天一行日期 筆數 x 金額 y
範例輸入:
3
X| 2026-01-01 |1,000
X|2026-01-01|5
Y|2026-01-01|-1
2
clean>dedup>filter>agg
dedup>filter>clean>agg
範例輸出:
設定:clean>dedup>filter>agg
clean 輸入 3 → 輸出 3(丟 0)
dedup 輸入 3 → 輸出 2(丟 1)
filter 輸入 2 → 輸出 1(丟 1)
2026-01-01 筆數 1 金額 1000
設定:dedup>filter>clean>agg
dedup 輸入 3 → 輸出 2(丟 1)
filter 輸入 2 → 輸出 0(丟 2)
clean 輸入 0 → 輸出 0(丟 0)
輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。
作答登入後可作答 - 02
失敗後從中間階段續跑
困難管線設計管線有固定的階段順序。每個階段上一次執行留下一筆紀錄:
階段 狀態 程式版本 輸出,狀態是ok、fail或skip(上次沒執行到),輸出是yes(輸出檔還在)或no(不在)。重跑時不用從頭來,從「需要重跑的第一個階段」開始,之後的階段全部重跑。依階段順序找第一個符合下列任一條件的階段,原因依這個優先順序取第一個符合的:
- 輸出是
no:原因輸出不在 - 狀態不是
ok:原因上次狀態 狀態 - 程式版本和目前的版本不同:原因
版本 舊版本 -> 新版本
都不符合時,起點是「無」。
另外可以指定強制起點 F(
-表示不指定):- F 比算出來的起點早(或算出來是「無」):改從 F 開始,原因
指定 - F 比算出來的起點晚:印
不能從 F 開始:X 需要重跑(X 是算出來的起點),這個情境到此為止 - F 和算出來的起點相同:照算出來的原因
從起點依序執行各階段,結果由輸入給定(沒給的階段算
ok);某個階段fail後,後面的階段不執行。輸入:
第 1 行:階段順序,以逗號分隔
第 2 行:情境數 t
每個情境:
- 一行,每個階段的目前程式版本,依階段順序以逗號分隔
- 依階段順序,每個階段一行紀錄(行數等於階段數)
- 一行強制起點 F
- 一行這次的執行結果:以空白分隔的
階段:ok或階段:fail;沒有時是-
輸出:每個情境:
== 情境 i ==- 起點是「無」而且沒有指定 F:印
全部沿用,不需要重跑,接著照下面的格式印新紀錄 - 否則
起點:階段(原因);接著每個階段一行:起點之前印階段 沿用;執行了印階段 執行 ok或階段 執行 fail;失敗之後的印階段 未執行 新紀錄:接著每個階段一行新的紀錄(格式同輸入):沿用的照舊;執行的狀態是結果、版本是目前版本、輸出 ok 為yes、fail 為no;未執行的狀態skip、版本與輸出照舊
範例輸入:
a,b,c
1
v1,v1,v1
a ok v1 yes
b fail v1 no
c skip v1 no
-
-
範例輸出:
== 情境 1 ==
起點:b(輸出不在)
a 沿用
b 執行 ok
c 執行 ok
新紀錄:
a ok v1 yes
b ok v1 yes
c ok v1 yes
輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。
作答登入後可作答 - 輸出是
- 03
兩個來源的黃金紀錄
困難資料整合客戶資料同時存在 CRM 與 ERP 兩個系統,要合併成一份「黃金紀錄」。每筆來源資料是
來源|客戶代號|更新時間|name|email|phone,來源是crm或erp,更新時間格式YYYY-MM-DDTHH:MM(可以直接用字串比大小)。先整理每個來源:
- 各欄位去掉前後空白;email 轉成小寫;空字串表示沒有值
- 同一個來源裡同一個客戶有多筆時,只留更新時間最晚的那筆;更新時間相同時留後面那行
每個欄位的合併規則寫在一行,例
name:crm>erp,email:latest,phone:erp>crm:a>b:依序取第一個「有這個客戶、而且這個欄位有值」的來源latest:在這個欄位有值的來源裡,取更新時間較晚的;相同時取crm- 都沒有值:印
-,來源印無
衝突:兩個來源都有這個欄位的值而且不同,算一個衝突欄位(email 是轉小寫之後比)。
輸入:
第 1 行:合併規則
第 2 行:資料行數 n,接下來 n 行來源資料
輸出:
- 依客戶代號由小到大字串排序,每個客戶一行:
客戶代號 name=值(來源) email=值(來源) phone=值(來源),欄位依規則行的順序 - 最後一行
客戶 a 位,衝突欄位 b 個
範例輸入:
name:erp>crm,email:latest,phone:crm>erp
3
crm|K1|2026-01-01T00:00|甲|A@X.COM|0911
erp|K1|2026-01-02T00:00|乙|a@y.com|
erp|K2|2026-01-01T00:00|丙||0922
範例輸出:
K1 name=乙(erp) email=a@y.com(erp) phone=0911(crm)
K2 name=丙(erp) email=-(無) phone=0922(erp)
客戶 2 位,衝突欄位 2 個
輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。
作答登入後可作答 - 04
上游出錯後的下游重跑順序
困難資料血緣資料倉儲記錄每張表由哪些上游表產生,格式
表名: 上游1,上游2(沒有上游的寫表名: -)。某幾張表的資料出了問題、修好之後,這幾張表本身與所有直接或間接依賴它們的下游表都要重跑,不受影響的表不重跑。重跑分成好幾波,同一波的表可以平行跑:
- 一張要重跑的表,它的上游裡「也要重跑的表」都已經在更早的波次跑完,就可以排進下一波
- 每一波排入所有可以排的表,波內依表名由小到大字串排序
- 有些要重跑的表因為循環依賴永遠排不進去,列為無法排程
輸入:
第 1 行:表數 n,接下來 n 行表的定義(每張表剛好定義一次;上游一定是有定義的表)
下一行:出問題的表,以逗號分隔(可能有沒定義過的表名,也可能重複)
輸出:
- 每個沒定義過的出問題表名一行
未知表:表名,依第一次出現的順序(同一個名稱只印一次) - 每一波一行
第 k 波:表1,表2,...(k 從 1 起算) - 有無法排程的表:
無法排程:接上這些表名(由小到大字串排序,以逗號分隔) - 最後一行
重跑 a 張,不受影響 b 張,a 是要重跑的表數(含無法排程的),b = n − a
範例輸入:
4
a: -
b: a
c: a,b
d: -
b
範例輸出:
第 1 波:b
第 2 波:c
重跑 2 張,不受影響 2 張
輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。
作答登入後可作答

送件鴿飛出去了