AI & Data Dreamers練功房
寶箱片場規則
PIPELINE GATES・資料工程關卡・高階・4 題

資料工程高階・端到端的整合情境

可調整階段順序的管線、失敗後從中間階段續跑、兩個來源的黃金紀錄、上游出錯後的下游重跑順序。

這一頁是題幹試閱;登入/註冊後每題可以在瀏覽器裡執行、對答案,第一次交對 +10 XP。

  1. 01

    可調整階段順序的管線

    困難管線設計

    一條小管線把原始訂單列整理成每日彙總。原始每列是 order_id|date|amount(剛好 3 段,每段可能有前後空白)。有三個整理階段,加上最後的彙總:

    • clean:每段去掉前後空白;amount 去掉所有逗號後用 int() 轉,轉不過去就丟掉;date 不是 YYYY-MM-DD 格式(長度 10,第 5、8 個字是 -,其餘 8 個字都是 0–9)也丟掉。留下的列 amount 存成整數
    • dedup:依 order_id 去重,保留第一次出現的列。比較的是 order_id 當下的字串,沒有先清理時 A1 與 A1 是不同的
    • filter:amount 用 int() 轉得過而且大於 0 的留下,其他丟掉(還沒清理時 amount 是字串,int(" 300") 可以轉,int("1,200") 不行;已經是整數就直接比)
    • agg:依 date 分組,算筆數與 amount 總和

    管線設定是一行,以 > 串接階段名稱。合法的設定:clean、dedup、filter 各出現剛好一次(順序任意),最後一個是 agg。依序檢查:出現不認得的階段名稱 → 設定錯誤:未知階段 名稱(第一個不認得的);否則不合法 → 設定錯誤:必須是 clean、dedup、filter 的排列再接 agg。

    輸入:

    第 1 行:原始列數 n,接下來 n 行原始列

    下一行:設定數 k,接下來 k 行管線設定

    輸出:每個設定:

    • 設定: 接上設定原字串
    • 設定錯誤時印錯誤訊息,這個設定到此為止
    • 否則前三個階段依執行順序各印一行 階段 輸入 a → 輸出 b(丟 c),接著依日期由小到大每天一行 日期 筆數 x 金額 y

    範例輸入:

    3

    X| 2026-01-01 |1,000

    X|2026-01-01|5

    Y|2026-01-01|-1

    2

    clean>dedup>filter>agg

    dedup>filter>clean>agg

    範例輸出:

    設定:clean>dedup>filter>agg

    clean 輸入 3 → 輸出 3(丟 0)

    dedup 輸入 3 → 輸出 2(丟 1)

    filter 輸入 2 → 輸出 1(丟 1)

    2026-01-01 筆數 1 金額 1000

    設定:dedup>filter>clean>agg

    dedup 輸入 3 → 輸出 2(丟 1)

    filter 輸入 2 → 輸出 0(丟 2)

    clean 輸入 0 → 輸出 0(丟 0)

    輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。

    作答登入後可作答
  2. 02

    失敗後從中間階段續跑

    困難管線設計

    管線有固定的階段順序。每個階段上一次執行留下一筆紀錄:階段 狀態 程式版本 輸出,狀態是 ok、fail 或 skip(上次沒執行到),輸出是 yes(輸出檔還在)或 no(不在)。

    重跑時不用從頭來,從「需要重跑的第一個階段」開始,之後的階段全部重跑。依階段順序找第一個符合下列任一條件的階段,原因依這個優先順序取第一個符合的:

    1. 輸出是 no:原因 輸出不在
    2. 狀態不是 ok:原因 上次狀態 狀態
    3. 程式版本和目前的版本不同:原因 版本 舊版本 -> 新版本

    都不符合時,起點是「無」。

    另外可以指定強制起點 F(- 表示不指定):

    • F 比算出來的起點早(或算出來是「無」):改從 F 開始,原因 指定
    • F 比算出來的起點晚:印 不能從 F 開始:X 需要重跑(X 是算出來的起點),這個情境到此為止
    • F 和算出來的起點相同:照算出來的原因

    從起點依序執行各階段,結果由輸入給定(沒給的階段算 ok);某個階段 fail 後,後面的階段不執行。

    輸入:

    第 1 行:階段順序,以逗號分隔

    第 2 行:情境數 t

    每個情境:

    • 一行,每個階段的目前程式版本,依階段順序以逗號分隔
    • 依階段順序,每個階段一行紀錄(行數等於階段數)
    • 一行強制起點 F
    • 一行這次的執行結果:以空白分隔的 階段:ok 或 階段:fail;沒有時是 -

    輸出:每個情境:

    • == 情境 i ==
    • 起點是「無」而且沒有指定 F:印 全部沿用,不需要重跑,接著照下面的格式印新紀錄
    • 否則 起點:階段(原因);接著每個階段一行:起點之前印 階段 沿用;執行了印 階段 執行 ok 或 階段 執行 fail;失敗之後的印 階段 未執行
    • 新紀錄: 接著每個階段一行新的紀錄(格式同輸入):沿用的照舊;執行的狀態是結果、版本是目前版本、輸出 ok 為 yes、fail 為 no;未執行的狀態 skip、版本與輸出照舊

    範例輸入:

    a,b,c

    1

    v1,v1,v1

    a ok v1 yes

    b fail v1 no

    c skip v1 no

    -

    -

    範例輸出:

    == 情境 1 ==

    起點:b(輸出不在)

    a 沿用

    b 執行 ok

    c 執行 ok

    新紀錄:

    a ok v1 yes

    b ok v1 yes

    c ok v1 yes

    輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。

    作答登入後可作答
  3. 03

    兩個來源的黃金紀錄

    困難資料整合

    客戶資料同時存在 CRM 與 ERP 兩個系統,要合併成一份「黃金紀錄」。每筆來源資料是 來源|客戶代號|更新時間|name|email|phone,來源是 crm 或 erp,更新時間格式 YYYY-MM-DDTHH:MM(可以直接用字串比大小)。

    先整理每個來源:

    • 各欄位去掉前後空白;email 轉成小寫;空字串表示沒有值
    • 同一個來源裡同一個客戶有多筆時,只留更新時間最晚的那筆;更新時間相同時留後面那行

    每個欄位的合併規則寫在一行,例 name:crm>erp,email:latest,phone:erp>crm:

    • a>b:依序取第一個「有這個客戶、而且這個欄位有值」的來源
    • latest:在這個欄位有值的來源裡,取更新時間較晚的;相同時取 crm
    • 都沒有值:印 -,來源印 無

    衝突:兩個來源都有這個欄位的值而且不同,算一個衝突欄位(email 是轉小寫之後比)。

    輸入:

    第 1 行:合併規則

    第 2 行:資料行數 n,接下來 n 行來源資料

    輸出:

    • 依客戶代號由小到大字串排序,每個客戶一行:客戶代號 name=值(來源) email=值(來源) phone=值(來源),欄位依規則行的順序
    • 最後一行 客戶 a 位,衝突欄位 b 個

    範例輸入:

    name:erp>crm,email:latest,phone:crm>erp

    3

    crm|K1|2026-01-01T00:00|甲|A@X.COM|0911

    erp|K1|2026-01-02T00:00|乙|a@y.com|

    erp|K2|2026-01-01T00:00|丙||0922

    範例輸出:

    K1 name=乙(erp) email=a@y.com(erp) phone=0911(crm)

    K2 name=丙(erp) email=-(無) phone=0922(erp)

    客戶 2 位,衝突欄位 2 個

    輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。

    作答登入後可作答
  4. 04

    上游出錯後的下游重跑順序

    困難資料血緣

    資料倉儲記錄每張表由哪些上游表產生,格式 表名: 上游1,上游2(沒有上游的寫 表名: -)。某幾張表的資料出了問題、修好之後,這幾張表本身與所有直接或間接依賴它們的下游表都要重跑,不受影響的表不重跑。

    重跑分成好幾波,同一波的表可以平行跑:

    • 一張要重跑的表,它的上游裡「也要重跑的表」都已經在更早的波次跑完,就可以排進下一波
    • 每一波排入所有可以排的表,波內依表名由小到大字串排序
    • 有些要重跑的表因為循環依賴永遠排不進去,列為無法排程

    輸入:

    第 1 行:表數 n,接下來 n 行表的定義(每張表剛好定義一次;上游一定是有定義的表)

    下一行:出問題的表,以逗號分隔(可能有沒定義過的表名,也可能重複)

    輸出:

    • 每個沒定義過的出問題表名一行 未知表:表名,依第一次出現的順序(同一個名稱只印一次)
    • 每一波一行 第 k 波:表1,表2,...(k 從 1 起算)
    • 有無法排程的表:無法排程: 接上這些表名(由小到大字串排序,以逗號分隔)
    • 最後一行 重跑 a 張,不受影響 b 張,a 是要重跑的表數(含無法排程的),b = n − a

    範例輸入:

    4

    a: -

    b: a

    c: a,b

    d: -

    b

    範例輸出:

    第 1 波:b

    第 2 波:c

    重跑 2 張,不受影響 2 張

    輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。

    作答登入後可作答