資料工程中階・儲存與格式
列式與行式互轉、字典編碼與 RLE 的大小估算、日期分區路徑與最少的掃描前綴。
這一頁是題幹試閱;登入/註冊後每題可以在瀏覽器裡執行、對答案,第一次交對 +10 XP。
- 01
列式與行式互轉
中等儲存格式列式(每筆一個 dict)適合逐筆寫入;行式(每欄一個 list)適合整欄統計,Parquet 這類欄式檔案就是這樣存的。請做兩個方向的轉換。
A. 列式轉行式:給 n 筆 JSON 物件,各筆的欄位可能不同。欄位順序依「第一次出現」排;某筆沒有這個欄位時,該欄這個位置放
None。每欄印一行欄名:接上json.dumps(該欄的 list, ensure_ascii=False)。接著對指定的欄做統計,印一行:
- 欄位不存在:
統計 欄名:欄位不存在 - 否則:
統計 欄名:非空 a 筆,空 b 筆,最小 x,最大 y,平均 z。空指None(含原本就是null);x、y 直接print原值(例214、1035.5);z 是非空值的平均,四捨五入到小數 2 位(:.2f)。測資保證這一欄的非空值都是數字,而且至少有 1 個
B. 行式轉列式:給 m 張表,每張是一行 JSON 物件,值都是 list。先印
表 j:(j 從 1 起算),然後:- 各欄的 list 長度不全相同:印一行
欄長不一致:接上欄名=長度,依欄位順序以逗號分隔 - 否則:每一列印一行
json.dumps(該列的 dict, ensure_ascii=False),dict 的欄位依原本欄位順序,值是None的欄位不放進去
輸入:
第 1 行:n,接下來 n 行列式資料
下一行:要統計的欄名
下一行:m,接下來 m 行行式資料
範例輸入:
2
{"a": 1, "b": "x"}
{"a": 4}
a
1
{"k": ["p", "q"], "v": [1, null]}
範例輸出:
a: [1, 4]
b: ["x", null]
統計 a:非空 2 筆,空 0 筆,最小 1,最大 4,平均 2.50
表 1:
{"k": "p", "v": 1}
{"k": "q"}
輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。
作答登入後可作答 - 欄位不存在:
- 02
字典編碼與 RLE 估算
中等儲存格式欄式檔案常把重複的字串換成小代碼(字典編碼),再把連續相同的代碼合併(RLE),體積會小很多。請對一欄字串做這兩步,並估算大小。
- 字典:依值第一次出現的順序給代碼 0、1、2…
- 編碼:每個值換成它的代碼
- RLE:把編碼後連續相同的代碼合併成
代碼x次數(x是英文小寫字母)
大小估算(單位 bytes,字串長度一律用
len(s.encode("utf-8"))):- 原始:所有值的 UTF-8 長度總和
- 字典編碼:字典裡每個相異值的 UTF-8 長度總和 + 值的個數 × 1(每個代碼佔 1 byte)
- 字典+RLE:字典裡每個相異值的 UTF-8 長度總和 + RLE 段數 × 2(每段的代碼與次數各佔 1 byte)
測資的相異值不超過 256 個,每段次數不超過 255。
輸入:
第 1 行:欄名
第 2 行:值的個數 n(n ≥ 1)
接下來 n 行:每行一個值
輸出(共 7 行):
欄位:欄名 字典:0=值,1=值,... 編碼:代碼,代碼,... RLE:代碼x次數,代碼x次數,... 原始 X bytes 字典編碼 Y bytes(p%) 字典+RLE Z bytes(q%)p = Y ÷ X × 100、q = Z ÷ X × 100,都四捨五入到小數 1 位(
:.1f)。範例輸入:
side
5
buy
buy
sell
buy
buy
範例輸出:
欄位:side
字典:0=buy,1=sell
編碼:0,0,1,0,0
RLE:0x2,1x1,0x2
原始 16 bytes
字典編碼 12 bytes(75.0%)
字典+RLE 13 bytes(81.2%)
輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。
作答登入後可作答 - 03
日期分區路徑與掃描前綴
中等分區規劃資料湖的表依日期分區,路徑格式是
表名/year=YYYY/month=MM/day=DD/(月、日補成兩位數)。查詢給一段日期區間 [起日, 迄日](含頭尾),要列出最少的路徑前綴。從起日開始往後,每一步依下列順序選能用的最大範圍,再從這個範圍的下一天繼續:- 區間涵蓋一整年(1/1 到 12/31):用
表名/year=YYYY/ - 否則,區間涵蓋一整個月(1 日到月底,月底要算對大小月與閏年):用
表名/year=YYYY/month=MM/ - 否則逐日用
表名/year=YYYY/month=MM/day=DD/
前綴依日期由早到晚印出。另外給一份目前存在的分區路徑清單(都是到 day 的完整路徑),算出每個查詢實際會命中幾個分區(分區日期落在區間內的個數)。
輸入:
第 1 行:表名
第 2 行:存在的分區數 n,接下來 n 行分區路徑
下一行:查詢數 q,接下來 q 行
起日 迄日(格式YYYY-MM-DD)輸出:每個查詢:
- 先印
查詢 起日 ~ 迄日 - 起日晚於迄日:印
區間錯誤,這個查詢到此為止 - 否則依序印每個前綴一行,最後印
前綴 k 個,命中分區 x 個
範例輸入:
logs
2
logs/year=2026/month=10/day=31/
logs/year=2026/month=11/day=02/
1
2026-10-30 2026-11-30
範例輸出:
查詢 2026-10-30 ~ 2026-11-30
logs/year=2026/month=10/day=30/
logs/year=2026/month=10/day=31/
logs/year=2026/month=11/
前綴 3 個,命中分區 2 個
輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。
作答登入後可作答 - 區間涵蓋一整年(1/1 到 12/31):用

送件鴿飛出去了