AI & Data Dreamers練功房
寶箱片場規則
DATA GATES・資料處理關卡・高階・4 題

Pandas 高階・管線與驗證

兩份快照逐欄比對、逐列驗證與違規原因、分批彙總再合併、彙總後對帳。

這一頁是題幹試閱;登入/註冊後每題可以在瀏覽器裡執行、對答案,第一次交對 +10 XP。

  1. 01

    兩份快照逐欄比對差異

    困難資料比對

    old 與 new 是昨天和今天抓的上市公司基本資料快照(stock_id、name、industry、chairman),缺值代表該欄沒抓到。FIELDS 是要比對的欄位與報表順序。

    請找出兩份快照的差異:

    • added:只在 new 出現的 stock_id,由小到大排序的 list。
    • removed:只在 old 出現的 stock_id,由小到大排序的 list。
    • result:兩份都有的股票裡,值不同的每一格一列。四欄依序是 stock_id、field、old、new。兩邊都是缺值算相同;一邊缺值、一邊有值算不同,缺值的那邊寫成 "(空)"。依 stock_id 由小到大排序,同一支股票內依 FIELDS 的順序。

    作答方式:資料已在程式裡建好。只改「TODO」那一段,最後的 print 保留不動,輸出才能自動對答案。本題在瀏覽器內以 Pyodide 執行(pandas 2.3)。

    作答登入後可作答
  2. 02

    逐列驗證並串起違規原因

    困難資料驗證

    subs 是作答系統匯出的提交紀錄(sub_id、student、score、submitted_at),進資料倉儲前要逐列驗證。規則依序是:

    1. 學號格式:student 必須是小寫 s 加 3 位數字(例 s012),整串完全符合。
    2. 分數範圍:score 必須有值,且介於 0 到 100(含兩端)。
    3. 時間格式:submitted_at 必須能依 "%Y-%m-%d %H:%M" 解析成時間。
    4. 重複提交:(student, submitted_at) 和前面某一列完全相同(第一次出現的不算違規,第二次之後才算)。

    請建立兩個變數:

    • result:至少違反一條規則的列,兩欄 sub_id、reasons。reasons 是該列違反的規則名稱(學號格式、分數範圍、時間格式、重複提交),依上面的規則順序用 ; 串起來(不加空白)。列順序與原表相同。
    • n_ok:完全沒有違規的列數(整數)。

    作答方式:資料已在程式裡建好。只改「TODO」那一段,最後的 print 保留不動,輸出才能自動對答案。本題在瀏覽器內以 Pyodide 執行(pandas 2.3)。

    作答登入後可作答
  3. 03

    分批彙總再合併的平均

    困難資料管線

    logs 是 API 存取日誌(site、latency_ms)。正式環境的日誌很大,要每次讀 CHUNK 列分批處理,這裡用小資料模擬:依列的順序,每 CHUNK 列切成一批(最後一批可以不足 CHUNK 列)。

    每一批只能算出「部分結果」:該批裡每個 site 的 latency_ms 總和與筆數(批裡沒出現的 site 不產生列)。所有批的部分結果串起來之後,再合併成最終結果。注意:各批平均的平均不等於整體平均。

    請建立三個變數:

    • n_chunks:切成幾批(整數)。
    • n_partial:所有批的部分結果加起來共幾列(整數)。
    • result:每個 site 一列,三欄依序是 site、requests(總筆數)、avg_ms(整體平均,四捨五入到小數 1 位),依 site 由小到大排序。

    作答方式:資料已在程式裡建好。只改「TODO」那一段,最後的 print 保留不動,輸出才能自動對答案。本題在瀏覽器內以 Pyodide 執行(pandas 2.3)。

    作答登入後可作答
  4. 04

    POS 與總部入帳對帳

    困難對帳

    pos 是各門市 POS 的交易明細(store、txn_id、amount),hq 是總部收到的入帳明細(store、txn_id、amount)。月底要依門市對帳。

    請建立 result:兩邊出現過的每家門市一列,七欄依序是:

    • store
    • pos_n、hq_n:兩邊的筆數(整數,沒有就是 0)
    • pos_amt、hq_amt:兩邊的金額合計(整數,沒有就是 0)
    • diff_amt:pos_amt − hq_amt
    • status:依下列順序判斷,取第一個符合的
    1. hq_n 為 0 → "僅POS"
    2. pos_n 為 0 → "僅總部"
    3. 筆數不同 → "筆數不符"
    4. 金額不同 → "金額不符"
    5. 其他 → "一致"

    依 store 由小到大排序。

    作答方式:資料已在程式裡建好。只改「TODO」那一段,最後的 print 保留不動,輸出才能自動對答案。本題在瀏覽器內以 Pyodide 執行(pandas 2.3)。

    作答登入後可作答