AI & Data Dreamers練功房
寶箱片場規則
PIPELINE GATES・資料工程關卡・高階・4 題

資料工程高階・資料品質與血緣

規則檢查、schema 相容性、欄位血緣、分區完整性。

這一頁是題幹試閱;登入/註冊後每題可以在瀏覽器裡執行、對答案,第一次交對 +10 XP。

  1. 01

    依規則檢查資料品質

    困難資料品質

    入庫前要依一組規則檢查每一列,輸出違規報告。規則每行一條,格式為 欄位 規則 [參數]:

    • not_null:不能是空值
    • range lo hi:值轉成數字後要在 lo 到 hi 之間(含頭尾);轉不成數字也算違規
    • regex 樣式:整個值要完全符合樣式(re.fullmatch)
    • in v1,v2,...:值要是清單中的一個(清單以逗號分隔,不含空白)

    規則各部分以空白分隔,樣式與清單本身不含空白。

    資料是 CSV(以逗號分隔,欄位去掉前後空白),去空白後是空字串就是空值。每列欄位數都與表頭相同。

    檢查規則:

    • 每一列依規則的列出順序逐條檢查
    • 值是空值時:not_null 違規;其他規則一律跳過(不算違規)
    • 值不是空值時:not_null 通過,其他規則照定義檢查

    輸入:

    第 1 行:規則數 m,接下來 m 行規則

    下一行:表頭

    下一行:資料列數 n,接下來 n 行資料

    輸出:

    • 每個違規一行 第 r 列 欄位 規則名稱:值,r 是資料列的序號(從 1 起算);依列序、同一列依規則順序;值是空值時印 (空)
    • 最後一行 違規列數:k/共 n 列(k 是至少有一個違規的列數)

    範例輸入:

    2

    close not_null

    close range 0 100

    stock_id,close

    3

    2330,50

    2317,

    2454,150

    範例輸出:

    第 2 列 close not_null:(空)

    第 3 列 close range:150

    違規列數:2/共 3 列

    輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。

    作答登入後可作答
  2. 02

    schema 變更相容性判斷

    困難schema 演進

    上游資料表改了 schema,要判斷下游會不會壞。每個欄位寫成 欄名 型別 null|not_null。比對新舊 schema,依下列規則產生變更項目:

    • 舊有、新沒有 → BREAKING DROP 欄名
    • 型別改變:屬於放寬(int→bigint、int→float、date→string 這三種)→ OK WIDEN 欄名 舊型別->新型別;其他 → BREAKING TYPE 欄名 舊型別->新型別
    • null 改成 not_null → BREAKING TIGHTEN 欄名;not_null 改成 null → OK RELAX 欄名
    • 新有、舊沒有:null → OK ADD 欄名;not_null → BREAKING ADD 欄名 NOT NULL

    同一個欄位型別與 null 都改了,兩項都要列,型別在前。欄位順序改變不算變更;改名視為刪除加新增。

    輸入:

    第 1 行:舊欄位數 n,接下來 n 行

    下一行:新欄位數 m,接下來 m 行

    輸出:

    • 先依舊 schema 的欄位順序列出 DROP/WIDEN/TYPE/TIGHTEN/RELAX,再依新 schema 的欄位順序列出 ADD,每項一行
    • 沒有任何變更時印一行 沒有變更
    • 最後一行:有 BREAKING 時印 結論:不相容(k 項)(k 是 BREAKING 的項數),否則印 結論:相容

    範例輸入:

    2

    id int not_null

    name string null

    2

    id string not_null

    name string null

    範例輸出:

    BREAKING TYPE id int->string

    結論:不相容(1 項)

    輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。

    作答登入後可作答
  3. 03

    欄位血緣往上游追

    困難資料血緣

    資料倉儲記錄了每個欄位由哪些上游欄位算出來,格式為 目標欄位 <- 來源1,來源2,...(欄位名稱是像 dw.price.close 這樣的字串,整串當成一個名稱)。同一個目標欄位可能出現在多行,來源取聯集。請從指定的欄位往上游追,列出所有上游欄位與距離。

    規則:

    • 直接來源的距離是 1,來源的來源是 2,依此類推;同一個欄位可從多條路徑到達時,取最短距離
    • 原始欄位:上游欄位中,本身沒有任何來源的
    • 保證沒有循環

    輸入:

    第 1 行:行數 n

    接下來 n 行:目標 <- 來源清單(<- 前後各一個空白,來源以逗號分隔、不含空白)

    最後一行:要查的欄位

    輸出:

    • 依距離由小到大,每個距離一行 距離 d:欄位1, 欄位2(同一距離的欄位依名稱排序,以「逗號+空白」分隔)
    • 最後一行 原始欄位: 接原始欄位(依名稱排序,以「逗號+空白」分隔)
    • 查的欄位沒有任何上游時,只印一行 沒有上游

    範例輸入:

    2

    b.y <- a.x

    c.z <- b.y

    c.z

    範例輸出:

    距離 1:b.y

    距離 2:a.x

    原始欄位:a.x

    輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。

    作答登入後可作答
  4. 04

    分區資料完整性檢查

    困難分區檢查

    股價明細依 dt=日期/stock=代號 分區存放。每天早上要檢查一段日期區間內,每檔應有的股票每天都有分區、筆數合理,並找出不該存在的分區。

    檢查每個(日期, 股票)組合,日期是區間內的每一天(含頭尾,不分平日假日),股票是應有清單中的每一檔:

    • 沒有這個分區 → 缺分區 日期 代號
    • 筆數是 0 → 空分區 日期 代號
    • 筆數 × 2 小於「前次筆數」→ 筆數驟降 日期 代號 筆數(前次 前次筆數);前次筆數是同一檔股票在區間內、較早日期中最近一個筆數大於 0 的分區的筆數,沒有前次就不檢查
    • 一個組合最多只會有上面其中一項

    另外,日期不在區間內或代號不在應有清單的分區 → 多餘分區 日期 代號。

    輸入:

    第 1 行:start end(YYYY-MM-DD)

    第 2 行:應有的股票代號,以空白分隔

    第 3 行:分區數 n

    接下來 n 行:dt=YYYY-MM-DD/stock=代號 rows=筆數(順序不固定,同一個分區不會重複)

    輸出:

    • 先依日期由小到大、同日依代號由小到大(字串比較),列出缺分區/空分區/筆數驟降
    • 再依(日期, 代號)由小到大列出多餘分區
    • 最後一行:有問題印 問題 k 項,沒有問題只印 全部完整

    範例輸入:

    2026-11-01 2026-11-02

    2330

    2

    dt=2026-11-01/stock=2330 rows=100

    dt=2026-11-02/stock=2330 rows=40

    範例輸出:

    筆數驟降 2026-11-02 2330 40(前次 100)

    問題 1 項

    輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。

    作答登入後可作答