資料工程高階・資料品質與血緣
規則檢查、schema 相容性、欄位血緣、分區完整性。
這一頁是題幹試閱;登入/註冊後每題可以在瀏覽器裡執行、對答案,第一次交對 +10 XP。
- 01
依規則檢查資料品質
困難資料品質入庫前要依一組規則檢查每一列,輸出違規報告。規則每行一條,格式為
欄位 規則 [參數]:not_null:不能是空值range lo hi:值轉成數字後要在 lo 到 hi 之間(含頭尾);轉不成數字也算違規regex 樣式:整個值要完全符合樣式(re.fullmatch)in v1,v2,...:值要是清單中的一個(清單以逗號分隔,不含空白)
規則各部分以空白分隔,樣式與清單本身不含空白。
資料是 CSV(以逗號分隔,欄位去掉前後空白),去空白後是空字串就是空值。每列欄位數都與表頭相同。
檢查規則:
- 每一列依規則的列出順序逐條檢查
- 值是空值時:
not_null違規;其他規則一律跳過(不算違規) - 值不是空值時:
not_null通過,其他規則照定義檢查
輸入:
第 1 行:規則數 m,接下來 m 行規則
下一行:表頭
下一行:資料列數 n,接下來 n 行資料
輸出:
- 每個違規一行
第 r 列 欄位 規則名稱:值,r 是資料列的序號(從 1 起算);依列序、同一列依規則順序;值是空值時印(空) - 最後一行
違規列數:k/共 n 列(k 是至少有一個違規的列數)
範例輸入:
2
close not_null
close range 0 100
stock_id,close
3
2330,50
2317,
2454,150
範例輸出:
第 2 列 close not_null:(空)
第 3 列 close range:150
違規列數:2/共 3 列
輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。
作答登入後可作答 - 02
schema 變更相容性判斷
困難schema 演進上游資料表改了 schema,要判斷下游會不會壞。每個欄位寫成
欄名 型別 null|not_null。比對新舊 schema,依下列規則產生變更項目:- 舊有、新沒有 →
BREAKING DROP 欄名 - 型別改變:屬於放寬(
int→bigint、int→float、date→string這三種)→OK WIDEN 欄名 舊型別->新型別;其他 →BREAKING TYPE 欄名 舊型別->新型別 null改成not_null→BREAKING TIGHTEN 欄名;not_null改成null→OK RELAX 欄名- 新有、舊沒有:
null→OK ADD 欄名;not_null→BREAKING ADD 欄名 NOT NULL
同一個欄位型別與 null 都改了,兩項都要列,型別在前。欄位順序改變不算變更;改名視為刪除加新增。
輸入:
第 1 行:舊欄位數 n,接下來 n 行
下一行:新欄位數 m,接下來 m 行
輸出:
- 先依舊 schema 的欄位順序列出 DROP/WIDEN/TYPE/TIGHTEN/RELAX,再依新 schema 的欄位順序列出 ADD,每項一行
- 沒有任何變更時印一行
沒有變更 - 最後一行:有 BREAKING 時印
結論:不相容(k 項)(k 是 BREAKING 的項數),否則印結論:相容
範例輸入:
2
id int not_null
name string null
2
id string not_null
name string null
範例輸出:
BREAKING TYPE id int->string
結論:不相容(1 項)
輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。
作答登入後可作答 - 舊有、新沒有 →
- 03
欄位血緣往上游追
困難資料血緣資料倉儲記錄了每個欄位由哪些上游欄位算出來,格式為
目標欄位 <- 來源1,來源2,...(欄位名稱是像dw.price.close這樣的字串,整串當成一個名稱)。同一個目標欄位可能出現在多行,來源取聯集。請從指定的欄位往上游追,列出所有上游欄位與距離。規則:
- 直接來源的距離是 1,來源的來源是 2,依此類推;同一個欄位可從多條路徑到達時,取最短距離
- 原始欄位:上游欄位中,本身沒有任何來源的
- 保證沒有循環
輸入:
第 1 行:行數 n
接下來 n 行:
目標 <- 來源清單(<-前後各一個空白,來源以逗號分隔、不含空白)最後一行:要查的欄位
輸出:
- 依距離由小到大,每個距離一行
距離 d:欄位1, 欄位2(同一距離的欄位依名稱排序,以「逗號+空白」分隔) - 最後一行
原始欄位:接原始欄位(依名稱排序,以「逗號+空白」分隔) - 查的欄位沒有任何上游時,只印一行
沒有上游
範例輸入:
2
b.y <- a.x
c.z <- b.y
c.z
範例輸出:
距離 1:b.y
距離 2:a.x
原始欄位:a.x
輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。
作答登入後可作答 - 04
分區資料完整性檢查
困難分區檢查股價明細依
dt=日期/stock=代號分區存放。每天早上要檢查一段日期區間內,每檔應有的股票每天都有分區、筆數合理,並找出不該存在的分區。檢查每個(日期, 股票)組合,日期是區間內的每一天(含頭尾,不分平日假日),股票是應有清單中的每一檔:
- 沒有這個分區 →
缺分區 日期 代號 - 筆數是 0 →
空分區 日期 代號 - 筆數 × 2 小於「前次筆數」→
筆數驟降 日期 代號 筆數(前次 前次筆數);前次筆數是同一檔股票在區間內、較早日期中最近一個筆數大於 0 的分區的筆數,沒有前次就不檢查 - 一個組合最多只會有上面其中一項
另外,日期不在區間內或代號不在應有清單的分區 →
多餘分區 日期 代號。輸入:
第 1 行:
start end(YYYY-MM-DD)第 2 行:應有的股票代號,以空白分隔
第 3 行:分區數 n
接下來 n 行:
dt=YYYY-MM-DD/stock=代號 rows=筆數(順序不固定,同一個分區不會重複)輸出:
- 先依日期由小到大、同日依代號由小到大(字串比較),列出缺分區/空分區/筆數驟降
- 再依(日期, 代號)由小到大列出多餘分區
- 最後一行:有問題印
問題 k 項,沒有問題只印全部完整
範例輸入:
2026-11-01 2026-11-02
2330
2
dt=2026-11-01/stock=2330 rows=100
dt=2026-11-02/stock=2330 rows=40
範例輸出:
筆數驟降 2026-11-02 2330 40(前次 100)
問題 1 項
輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。
作答登入後可作答 - 沒有這個分區 →

送件鴿飛出去了