AI & Data Dreamers練功房
寶箱片場規則
PIPELINE GATES・資料工程關卡・中階・3 題

資料工程中階・服務之間的資料交換

訊息版本逐步升級、依 key 計算分區與擴充分區的搬移量、時間視窗去重。

這一頁是題幹試閱;登入/註冊後每題可以在瀏覽器裡執行、對答案,第一次交對 +10 XP。

  1. 01

    訊息版本升級

    中等訊息格式

    訂單事件透過訊息佇列在服務之間傳遞,生產端陸續升級過格式,佇列裡同時有新舊版本的訊息。消費端要把每則訊息升級成目前的第 3 版再處理。

    每則訊息是一行 JSON 物件,v 欄位是版本(整數);沒有 v 欄位的是第 1 版。升級一步一步做,從訊息本身的版本開始,依序套用到第 3 版:

    • 第 1 版 → 第 2 版:欄位 amt 改名為 amount(有 amt 才改;測資不會同時有 amt 與 amount);若沒有 currency 欄位,補上 "TWD"
    • 第 2 版 → 第 3 版:若沒有 channel 欄位,補上 "web"

    處理規則依序判斷:

    1. 版本大於 3:這則印 無法處理(版本 v)
    2. 升級完後,order_id、amount、currency、channel 少任何一個:這則印 欄位不足: 接上缺少的欄名(依前面列的順序,以逗號分隔)
    3. 其他:印出第 3 版的訊息,只留 v、order_id、amount、currency、channel 五個欄位,依這個順序組成 dict 後用 json.dumps(d, ensure_ascii=False) 輸出(v 是 3)

    輸入:

    第 1 行:訊息數 n

    接下來 n 行:每行一則 JSON

    輸出:

    • 每則一行,開頭 第 i 則 (i 從 1 起算)接上上面的處理結果
    • 最後一行 原始版本: 接上各版本的則數,格式 v1=a,v2=b,...,依版本由小到大,只列出現過的版本

    範例輸入:

    3

    {"order_id": "B1", "amt": 10}

    {"v": 2, "order_id": "B2", "amount": 5, "currency": "USD"}

    {"v": 5, "order_id": "B3"}

    範例輸出:

    第 1 則 {"v": 3, "order_id": "B1", "amount": 10, "currency": "TWD", "channel": "web"}

    第 2 則 {"v": 3, "order_id": "B2", "amount": 5, "currency": "USD", "channel": "web"}

    第 3 則 無法處理(版本 5)

    原始版本:v1=1,v2=1,v5=1

    輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。

    作答登入後可作答
  2. 02

    依 key 分區與擴充分區

    中等訊息分區

    訊息佇列依訊息的 key(股票代號)決定送到哪個分區,同一個 key 永遠送到同一個分區,同一檔股票的訊息才會依序處理。分區編號的算法:

    分區 = zlib.crc32(key.encode("utf-8")) % 分區數

    (不能用內建的 hash():它對字串的結果每次啟動 Python 都不一樣。)

    現在要把分區數從 A 擴充成 B,想先知道有多少 key 會換分區。

    輸入:

    第 1 行:A B(兩個正整數)

    第 2 行:訊息數 n

    接下來 n 行:每行一則訊息的 key(同一個 key 可能出現多次)

    輸出:

    • 依 key 第一次出現的順序,每個 key 一行 key 舊分區->新分區,分區有變時在後面加一個空白與 搬移
    • 對 0 到 max(A, B) − 1 的每個分區編號一行 分區 i:舊 x 則,新 y 則,x、y 是擴充前、後這個分區會收到的訊息則數(依 n 則訊息計,重複的 key 每則都算)
    • 最後一行 搬移:k/m 個 key,m 是不重複的 key 數,k 是其中換分區的個數

    範例輸入:

    2 3

    4

    2330

    2317

    2330

    0050

    範例輸出:

    2330 1->2 搬移

    2317 0->0

    0050 1->2 搬移

    分區 0:舊 1 則,新 1 則

    分區 1:舊 3 則,新 0 則

    分區 2:舊 0 則,新 3 則

    搬移:2/3 個 key

    輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。

    作答登入後可作答
  3. 03

    訊息去重視窗

    中等訊息去重

    訊息佇列保證「至少送達一次」,同一則訊息可能被重送。消費端用一個時間視窗去重:記住最近收下的訊息 id 與收下的時間,W 秒內再收到同一個 id 就丟掉。

    規則(時間 t 以秒為單位,訊息依 t 由小到大送達,t 可能相同):

    1. 處理每則訊息前,先把記憶中「t − 收下時間 ≥ W」的 id 清掉
    2. id 還在記憶中:丟掉,記憶的收下時間不變(重送不會延長視窗)
    3. id 不在記憶中:收下,記住這個 id 與收下時間 t

    輸入:

    第 1 行:視窗秒數 W

    第 2 行:訊息數 n

    接下來 n 行:t id

    輸出:

    • 每則訊息一行:收下印 t id 收;丟掉印 t id 丟(距收下 d 秒),d = t − 這個 id 的收下時間
    • 收下 a/丟掉 b
    • 記憶最多:k,k 是每則訊息處理完(含第 1 步清除)之後,記憶中 id 個數的最大值

    範例輸入:

    10

    4

    0 a

    5 a

    10 a

    12 b

    範例輸出:

    0 a 收

    5 a 丟(距收下 5 秒)

    10 a 收

    12 b 收

    收下 3/丟掉 1

    記憶最多:2

    輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。

    作答登入後可作答