資料工程中階・服務之間的資料交換
訊息版本逐步升級、依 key 計算分區與擴充分區的搬移量、時間視窗去重。
這一頁是題幹試閱;登入/註冊後每題可以在瀏覽器裡執行、對答案,第一次交對 +10 XP。
- 01
訊息版本升級
中等訊息格式訂單事件透過訊息佇列在服務之間傳遞,生產端陸續升級過格式,佇列裡同時有新舊版本的訊息。消費端要把每則訊息升級成目前的第 3 版再處理。
每則訊息是一行 JSON 物件,
v欄位是版本(整數);沒有v欄位的是第 1 版。升級一步一步做,從訊息本身的版本開始,依序套用到第 3 版:- 第 1 版 → 第 2 版:欄位
amt改名為amount(有amt才改;測資不會同時有amt與amount);若沒有currency欄位,補上"TWD" - 第 2 版 → 第 3 版:若沒有
channel欄位,補上"web"
處理規則依序判斷:
- 版本大於 3:這則印
無法處理(版本 v) - 升級完後,
order_id、amount、currency、channel少任何一個:這則印欄位不足:接上缺少的欄名(依前面列的順序,以逗號分隔) - 其他:印出第 3 版的訊息,只留
v、order_id、amount、currency、channel五個欄位,依這個順序組成 dict 後用json.dumps(d, ensure_ascii=False)輸出(v是 3)
輸入:
第 1 行:訊息數 n
接下來 n 行:每行一則 JSON
輸出:
- 每則一行,開頭
第 i 則(i 從 1 起算)接上上面的處理結果 - 最後一行
原始版本:接上各版本的則數,格式v1=a,v2=b,...,依版本由小到大,只列出現過的版本
範例輸入:
3
{"order_id": "B1", "amt": 10}
{"v": 2, "order_id": "B2", "amount": 5, "currency": "USD"}
{"v": 5, "order_id": "B3"}
範例輸出:
第 1 則 {"v": 3, "order_id": "B1", "amount": 10, "currency": "TWD", "channel": "web"}
第 2 則 {"v": 3, "order_id": "B2", "amount": 5, "currency": "USD", "channel": "web"}
第 3 則 無法處理(版本 5)
原始版本:v1=1,v2=1,v5=1
輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。
作答登入後可作答 - 第 1 版 → 第 2 版:欄位
- 02
依 key 分區與擴充分區
中等訊息分區訊息佇列依訊息的 key(股票代號)決定送到哪個分區,同一個 key 永遠送到同一個分區,同一檔股票的訊息才會依序處理。分區編號的算法:
分區 = zlib.crc32(key.encode("utf-8")) % 分區數(不能用內建的
hash():它對字串的結果每次啟動 Python 都不一樣。)現在要把分區數從 A 擴充成 B,想先知道有多少 key 會換分區。
輸入:
第 1 行:
A B(兩個正整數)第 2 行:訊息數 n
接下來 n 行:每行一則訊息的 key(同一個 key 可能出現多次)
輸出:
- 依 key 第一次出現的順序,每個 key 一行
key 舊分區->新分區,分區有變時在後面加一個空白與搬移 - 對 0 到 max(A, B) − 1 的每個分區編號一行
分區 i:舊 x 則,新 y 則,x、y 是擴充前、後這個分區會收到的訊息則數(依 n 則訊息計,重複的 key 每則都算) - 最後一行
搬移:k/m 個 key,m 是不重複的 key 數,k 是其中換分區的個數
範例輸入:
2 3
4
2330
2317
2330
0050
範例輸出:
2330 1->2 搬移
2317 0->0
0050 1->2 搬移
分區 0:舊 1 則,新 1 則
分區 1:舊 3 則,新 0 則
分區 2:舊 0 則,新 3 則
搬移:2/3 個 key
輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。
作答登入後可作答 - 依 key 第一次出現的順序,每個 key 一行
- 03
訊息去重視窗
中等訊息去重訊息佇列保證「至少送達一次」,同一則訊息可能被重送。消費端用一個時間視窗去重:記住最近收下的訊息 id 與收下的時間,W 秒內再收到同一個 id 就丟掉。
規則(時間 t 以秒為單位,訊息依 t 由小到大送達,t 可能相同):
- 處理每則訊息前,先把記憶中「t − 收下時間 ≥ W」的 id 清掉
- id 還在記憶中:丟掉,記憶的收下時間不變(重送不會延長視窗)
- id 不在記憶中:收下,記住這個 id 與收下時間 t
輸入:
第 1 行:視窗秒數 W
第 2 行:訊息數 n
接下來 n 行:
t id輸出:
- 每則訊息一行:收下印
t id 收;丟掉印t id 丟(距收下 d 秒),d = t − 這個 id 的收下時間 收下 a/丟掉 b記憶最多:k,k 是每則訊息處理完(含第 1 步清除)之後,記憶中 id 個數的最大值
範例輸入:
10
4
0 a
5 a
10 a
12 b
範例輸出:
0 a 收
5 a 丟(距收下 5 秒)
10 a 收
12 b 收
收下 3/丟掉 1
記憶最多:2
輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。
作答登入後可作答

送件鴿飛出去了