資料工程高階・分層與彙總
raw→stage→app 三層轉換、缺資料時的移動平均與漲跌幅、依維度版本補屬性後彙總、增量重算受影響的分區。
這一頁是題幹試閱;登入/註冊後每題可以在瀏覽器裡執行、對答案,第一次交對 +10 XP。
- 01
raw 到 stage 到 app 三層轉換
困難分層轉換訂單資料分三層處理:raw 層原樣保存爬回來的每一列;stage 層清理;app 層彙總給報表用。
raw 每列格式
ingest_seq|order_id|date|category|amount|status,以|分隔。同一個 order_id 可能被抓到多次(訂單後來有修改),ingest_seq 越大越新;raw 的列不一定依 ingest_seq 排序,ingest_seq 不重複。stage 層依下列順序處理:
- 去重:每個 order_id 只留 ingest_seq 最大的那一列(不管它的內容好不好)
- 去重後 status 是
CANCELLED的列丟掉,計入「取消」 - 剩下的列,amount 不是只由 0–9 組成的非空字串,丟掉,計入「壞資料」
- 留下的就是 stage
app 層:stage 依 (date, category) 分組,算筆數與 amount 加總。
輸入:
第 1 行:raw 列數 n
接下來 n 行:raw 列
輸出:
raw:n去重後:x取消:y壞資料:zstage:w- 接著依 date、再依 category(都是字串由小到大)每組一行
date category 筆數 金額;stage 是空的就印一行(無資料)
範例輸入:
4
2|A|2026-11-03|x|100|PAID
1|A|2026-11-03|x|90|PAID
3|B|2026-11-03|y|50|CANCELLED
4|C|2026-11-03|x|abc|PAID
範例輸出:
raw:4
去重後:3
取消:1
壞資料:1
stage:1
2026-11-03 x 1 100
輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。
作答登入後可作答 - 02
移動平均與缺資料的交易日
困難時間序列收盤價資料有缺漏:交易日曆上有這一天,但爬蟲沒抓到。計算漲跌幅與 3 日移動平均時,缺的那天不能被跳過或補值,規則如下:
- 交易日曆給出所有交易日(已排序);收盤價紀錄只涵蓋其中一部分,沒有紀錄的交易日就是缺資料
- 漲跌幅 = (今天收盤 − 前一個交易日收盤) ÷ 前一個交易日收盤 × 100。「前一個交易日」指交易日曆上的前一天,不是往前找到有資料的那天;第一個交易日、或前一個交易日缺資料,印
- - MA3 = 今天與前兩個交易日(日曆上連續的 3 個交易日)收盤價的平均;這 3 天有任何一天缺資料、或今天之前不足兩個交易日,印
- - 漲跌幅印成帶正負號、小數 2 位(格式
+.2f,例+1.25、-0.40、+0.00);MA3 印小數 2 位。測資不會落在 .5 進位的邊界
輸入:
第 1 行:交易日曆,以空白分隔的
YYYY-MM-DD第 2 行:紀錄數 n
接下來 n 行:
date close(沒有排序;日期都在日曆裡、不重複)輸出:
- 依交易日曆的順序,每天一行
date close 漲跌幅 MA3;當天缺資料印date - - - - 最後一行
缺資料:k 天
範例輸入:
2026-11-02 2026-11-03 2026-11-04 2026-11-05
3
2026-11-02 50
2026-11-03 51
2026-11-05 52
範例輸出:
2026-11-02 50 - -
2026-11-03 51 +2.00 -
2026-11-04 - - -
2026-11-05 52 - -
缺資料:1 天
輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。
作答登入後可作答 - 03
依維度版本補屬性後彙總
困難維度關聯股票的產業分類會改變,維度表保留了每個版本:
stock_id industry valid_from表示從 valid_from 這天起(含)屬於這個產業,直到同一檔的下一個版本的 valid_from 前一天。維度表的列沒有排序;同一檔不會有兩個版本的 valid_from 相同。成交事實表每列
date stock_id amount。每一筆事實要用「事實日期當時有效的版本」補上產業:同一檔的版本中,valid_from ≤ date 且 valid_from 最大的那個。這檔股票不在維度表裡,或事實日期早於它的第一個版本,產業記為未分類。補上產業後,依 (月份, 產業) 加總 amount,月份是 date 的前 7 個字元(
YYYY-MM)。輸入:
第 1 行:維度表列數 m,接下來 m 行
stock_id industry valid_from下一行:事實表列數 n,接下來 n 行
date stock_id amount(amount 是整數;日期格式都是YYYY-MM-DD)輸出:
- 依月份由小到大;同月依金額由大到小;金額一樣依產業名稱由小到大(字串比較)。每組一行
月份 產業 金額 - 最後一行
未分類筆數:k(事實表中補成未分類的筆數)
範例輸入:
2
A 甲 2026-10-01
A 乙 2026-11-01
3
2026-10-31 A 10
2026-11-01 A 20
2026-09-30 A 5
範例輸出:
2026-09 未分類 5
2026-10 甲 10
2026-11 乙 20
未分類筆數:1
輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。
作答登入後可作答 - 依月份由小到大;同月依金額由大到小;金額一樣依產業名稱由小到大(字串比較)。每組一行
- 04
增量重算受影響的分區
困難增量處理訂單表依日期分區,每個分區有一份彙總(筆數、金額加總)。每天收到一批變更,只重算受影響的分區,不重跑整張表。
變更依序套用,有三種:
I order_id date amount:新增;order_id 已存在時當成更新(照U的規則處理)U order_id date amount:更新整筆;order_id 不存在時忽略D order_id:刪除;order_id 不存在時忽略
受影響的分區:每一筆有套用的變更,它改到的「舊日期」與「新日期」分區都算(新增只有新日期,刪除只有舊日期;更新時舊日期與新日期都算,兩者相同就是同一個)。被忽略的變更不影響任何分區。只要有套用就算受影響,即使內容沒有真的改變。
輸入:
第 1 行:原始列數 n,接下來 n 行
order_id date amount(order_id 不重複,amount 是整數)下一行:變更數 m,接下來 m 行變更
輸出:
受影響分區:接上日期(由小到大,以逗號分隔);沒有就印受影響分區:無- 每個受影響分區依日期由小到大一行:套用完全部變更後還有資料印
date 筆數 金額;已經沒有資料印date 已清空 忽略:k未重算分區:x:套用完後仍有資料、但不受影響的分區數
範例輸入:
3
A 2026-11-01 10
B 2026-11-02 20
C 2026-11-03 30
3
U A 2026-11-02 15
D C
U Z 2026-11-01 1
範例輸出:
受影響分區:2026-11-01,2026-11-02,2026-11-03
2026-11-01 已清空
2026-11-02 2 35
2026-11-03 已清空
忽略:1
未重算分區:0
輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。
作答登入後可作答

送件鴿飛出去了