AI & Data Dreamers練功房
寶箱片場規則
PIPELINE GATES・資料工程關卡・高階・4 題

資料工程高階・分層與彙總

raw→stage→app 三層轉換、缺資料時的移動平均與漲跌幅、依維度版本補屬性後彙總、增量重算受影響的分區。

這一頁是題幹試閱;登入/註冊後每題可以在瀏覽器裡執行、對答案,第一次交對 +10 XP。

  1. 01

    raw 到 stage 到 app 三層轉換

    困難分層轉換

    訂單資料分三層處理:raw 層原樣保存爬回來的每一列;stage 層清理;app 層彙總給報表用。

    raw 每列格式 ingest_seq|order_id|date|category|amount|status,以 | 分隔。同一個 order_id 可能被抓到多次(訂單後來有修改),ingest_seq 越大越新;raw 的列不一定依 ingest_seq 排序,ingest_seq 不重複。

    stage 層依下列順序處理:

    1. 去重:每個 order_id 只留 ingest_seq 最大的那一列(不管它的內容好不好)
    2. 去重後 status 是 CANCELLED 的列丟掉,計入「取消」
    3. 剩下的列,amount 不是只由 0–9 組成的非空字串,丟掉,計入「壞資料」
    4. 留下的就是 stage

    app 層:stage 依 (date, category) 分組,算筆數與 amount 加總。

    輸入:

    第 1 行:raw 列數 n

    接下來 n 行:raw 列

    輸出:

    • raw:n
    • 去重後:x
    • 取消:y
    • 壞資料:z
    • stage:w
    • 接著依 date、再依 category(都是字串由小到大)每組一行 date category 筆數 金額;stage 是空的就印一行 (無資料)

    範例輸入:

    4

    2|A|2026-11-03|x|100|PAID

    1|A|2026-11-03|x|90|PAID

    3|B|2026-11-03|y|50|CANCELLED

    4|C|2026-11-03|x|abc|PAID

    範例輸出:

    raw:4

    去重後:3

    取消:1

    壞資料:1

    stage:1

    2026-11-03 x 1 100

    輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。

    作答登入後可作答
  2. 02

    移動平均與缺資料的交易日

    困難時間序列

    收盤價資料有缺漏:交易日曆上有這一天,但爬蟲沒抓到。計算漲跌幅與 3 日移動平均時,缺的那天不能被跳過或補值,規則如下:

    • 交易日曆給出所有交易日(已排序);收盤價紀錄只涵蓋其中一部分,沒有紀錄的交易日就是缺資料
    • 漲跌幅 = (今天收盤 − 前一個交易日收盤) ÷ 前一個交易日收盤 × 100。「前一個交易日」指交易日曆上的前一天,不是往前找到有資料的那天;第一個交易日、或前一個交易日缺資料,印 -
    • MA3 = 今天與前兩個交易日(日曆上連續的 3 個交易日)收盤價的平均;這 3 天有任何一天缺資料、或今天之前不足兩個交易日,印 -
    • 漲跌幅印成帶正負號、小數 2 位(格式 +.2f,例 +1.25、-0.40、+0.00);MA3 印小數 2 位。測資不會落在 .5 進位的邊界

    輸入:

    第 1 行:交易日曆,以空白分隔的 YYYY-MM-DD

    第 2 行:紀錄數 n

    接下來 n 行:date close(沒有排序;日期都在日曆裡、不重複)

    輸出:

    • 依交易日曆的順序,每天一行 date close 漲跌幅 MA3;當天缺資料印 date - - -
    • 最後一行 缺資料:k 天

    範例輸入:

    2026-11-02 2026-11-03 2026-11-04 2026-11-05

    3

    2026-11-02 50

    2026-11-03 51

    2026-11-05 52

    範例輸出:

    2026-11-02 50 - -

    2026-11-03 51 +2.00 -

    2026-11-04 - - -

    2026-11-05 52 - -

    缺資料:1 天

    輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。

    作答登入後可作答
  3. 03

    依維度版本補屬性後彙總

    困難維度關聯

    股票的產業分類會改變,維度表保留了每個版本:stock_id industry valid_from 表示從 valid_from 這天起(含)屬於這個產業,直到同一檔的下一個版本的 valid_from 前一天。維度表的列沒有排序;同一檔不會有兩個版本的 valid_from 相同。

    成交事實表每列 date stock_id amount。每一筆事實要用「事實日期當時有效的版本」補上產業:同一檔的版本中,valid_from ≤ date 且 valid_from 最大的那個。這檔股票不在維度表裡,或事實日期早於它的第一個版本,產業記為 未分類。

    補上產業後,依 (月份, 產業) 加總 amount,月份是 date 的前 7 個字元(YYYY-MM)。

    輸入:

    第 1 行:維度表列數 m,接下來 m 行 stock_id industry valid_from

    下一行:事實表列數 n,接下來 n 行 date stock_id amount(amount 是整數;日期格式都是 YYYY-MM-DD)

    輸出:

    • 依月份由小到大;同月依金額由大到小;金額一樣依產業名稱由小到大(字串比較)。每組一行 月份 產業 金額
    • 最後一行 未分類筆數:k(事實表中補成 未分類 的筆數)

    範例輸入:

    2

    A 甲 2026-10-01

    A 乙 2026-11-01

    3

    2026-10-31 A 10

    2026-11-01 A 20

    2026-09-30 A 5

    範例輸出:

    2026-09 未分類 5

    2026-10 甲 10

    2026-11 乙 20

    未分類筆數:1

    輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。

    作答登入後可作答
  4. 04

    增量重算受影響的分區

    困難增量處理

    訂單表依日期分區,每個分區有一份彙總(筆數、金額加總)。每天收到一批變更,只重算受影響的分區,不重跑整張表。

    變更依序套用,有三種:

    • I order_id date amount:新增;order_id 已存在時當成更新(照 U 的規則處理)
    • U order_id date amount:更新整筆;order_id 不存在時忽略
    • D order_id:刪除;order_id 不存在時忽略

    受影響的分區:每一筆有套用的變更,它改到的「舊日期」與「新日期」分區都算(新增只有新日期,刪除只有舊日期;更新時舊日期與新日期都算,兩者相同就是同一個)。被忽略的變更不影響任何分區。只要有套用就算受影響,即使內容沒有真的改變。

    輸入:

    第 1 行:原始列數 n,接下來 n 行 order_id date amount(order_id 不重複,amount 是整數)

    下一行:變更數 m,接下來 m 行變更

    輸出:

    • 受影響分區: 接上日期(由小到大,以逗號分隔);沒有就印 受影響分區:無
    • 每個受影響分區依日期由小到大一行:套用完全部變更後還有資料印 date 筆數 金額;已經沒有資料印 date 已清空
    • 忽略:k
    • 未重算分區:x:套用完後仍有資料、但不受影響的分區數

    範例輸入:

    3

    A 2026-11-01 10

    B 2026-11-02 20

    C 2026-11-03 30

    3

    U A 2026-11-02 15

    D C

    U Z 2026-11-01 1

    範例輸出:

    受影響分區:2026-11-01,2026-11-02,2026-11-03

    2026-11-01 已清空

    2026-11-02 2 35

    2026-11-03 已清空

    忽略:1

    未重算分區:0

    輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。

    作答登入後可作答