AI & Data Dreamers練功房
寶箱片場規則
PIPELINE GATES・資料工程關卡・中階・3 題

資料工程中階・儲存與格式

列式與行式互轉、字典編碼與 RLE 的大小估算、日期分區路徑與最少的掃描前綴。

這一頁是題幹試閱;登入/註冊後每題可以在瀏覽器裡執行、對答案,第一次交對 +10 XP。

  1. 01

    列式與行式互轉

    中等儲存格式

    列式(每筆一個 dict)適合逐筆寫入;行式(每欄一個 list)適合整欄統計,Parquet 這類欄式檔案就是這樣存的。請做兩個方向的轉換。

    A. 列式轉行式:給 n 筆 JSON 物件,各筆的欄位可能不同。欄位順序依「第一次出現」排;某筆沒有這個欄位時,該欄這個位置放 None。每欄印一行 欄名: 接上 json.dumps(該欄的 list, ensure_ascii=False)。

    接著對指定的欄做統計,印一行:

    • 欄位不存在:統計 欄名:欄位不存在
    • 否則:統計 欄名:非空 a 筆,空 b 筆,最小 x,最大 y,平均 z。空指 None(含原本就是 null);x、y 直接 print 原值(例 214、1035.5);z 是非空值的平均,四捨五入到小數 2 位(:.2f)。測資保證這一欄的非空值都是數字,而且至少有 1 個

    B. 行式轉列式:給 m 張表,每張是一行 JSON 物件,值都是 list。先印 表 j:(j 從 1 起算),然後:

    • 各欄的 list 長度不全相同:印一行 欄長不一致: 接上 欄名=長度,依欄位順序以逗號分隔
    • 否則:每一列印一行 json.dumps(該列的 dict, ensure_ascii=False),dict 的欄位依原本欄位順序,值是 None 的欄位不放進去

    輸入:

    第 1 行:n,接下來 n 行列式資料

    下一行:要統計的欄名

    下一行:m,接下來 m 行行式資料

    範例輸入:

    2

    {"a": 1, "b": "x"}

    {"a": 4}

    a

    1

    {"k": ["p", "q"], "v": [1, null]}

    範例輸出:

    a: [1, 4]

    b: ["x", null]

    統計 a:非空 2 筆,空 0 筆,最小 1,最大 4,平均 2.50

    表 1:

    {"k": "p", "v": 1}

    {"k": "q"}

    輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。

    作答登入後可作答
  2. 02

    字典編碼與 RLE 估算

    中等儲存格式

    欄式檔案常把重複的字串換成小代碼(字典編碼),再把連續相同的代碼合併(RLE),體積會小很多。請對一欄字串做這兩步,並估算大小。

    1. 字典:依值第一次出現的順序給代碼 0、1、2…
    2. 編碼:每個值換成它的代碼
    3. RLE:把編碼後連續相同的代碼合併成 代碼x次數(x 是英文小寫字母)

    大小估算(單位 bytes,字串長度一律用 len(s.encode("utf-8"))):

    • 原始:所有值的 UTF-8 長度總和
    • 字典編碼:字典裡每個相異值的 UTF-8 長度總和 + 值的個數 × 1(每個代碼佔 1 byte)
    • 字典+RLE:字典裡每個相異值的 UTF-8 長度總和 + RLE 段數 × 2(每段的代碼與次數各佔 1 byte)

    測資的相異值不超過 256 個,每段次數不超過 255。

    輸入:

    第 1 行:欄名

    第 2 行:值的個數 n(n ≥ 1)

    接下來 n 行:每行一個值

    輸出(共 7 行):

    欄位:欄名
    字典:0=值,1=值,...
    編碼:代碼,代碼,...
    RLE:代碼x次數,代碼x次數,...
    原始 X bytes
    字典編碼 Y bytes(p%)
    字典+RLE Z bytes(q%)

    p = Y ÷ X × 100、q = Z ÷ X × 100,都四捨五入到小數 1 位(:.1f)。

    範例輸入:

    side

    5

    buy

    buy

    sell

    buy

    buy

    範例輸出:

    欄位:side

    字典:0=buy,1=sell

    編碼:0,0,1,0,0

    RLE:0x2,1x1,0x2

    原始 16 bytes

    字典編碼 12 bytes(75.0%)

    字典+RLE 13 bytes(81.2%)

    輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。

    作答登入後可作答
  3. 03

    日期分區路徑與掃描前綴

    中等分區規劃

    資料湖的表依日期分區,路徑格式是 表名/year=YYYY/month=MM/day=DD/(月、日補成兩位數)。查詢給一段日期區間 [起日, 迄日](含頭尾),要列出最少的路徑前綴。從起日開始往後,每一步依下列順序選能用的最大範圍,再從這個範圍的下一天繼續:

    • 區間涵蓋一整年(1/1 到 12/31):用 表名/year=YYYY/
    • 否則,區間涵蓋一整個月(1 日到月底,月底要算對大小月與閏年):用 表名/year=YYYY/month=MM/
    • 否則逐日用 表名/year=YYYY/month=MM/day=DD/

    前綴依日期由早到晚印出。另外給一份目前存在的分區路徑清單(都是到 day 的完整路徑),算出每個查詢實際會命中幾個分區(分區日期落在區間內的個數)。

    輸入:

    第 1 行:表名

    第 2 行:存在的分區數 n,接下來 n 行分區路徑

    下一行:查詢數 q,接下來 q 行 起日 迄日(格式 YYYY-MM-DD)

    輸出:每個查詢:

    • 先印 查詢 起日 ~ 迄日
    • 起日晚於迄日:印 區間錯誤,這個查詢到此為止
    • 否則依序印每個前綴一行,最後印 前綴 k 個,命中分區 x 個

    範例輸入:

    logs

    2

    logs/year=2026/month=10/day=31/

    logs/year=2026/month=11/day=02/

    1

    2026-10-30 2026-11-30

    範例輸出:

    查詢 2026-10-30 ~ 2026-11-30

    logs/year=2026/month=10/day=30/

    logs/year=2026/month=10/day=31/

    logs/year=2026/month=11/

    前綴 3 個,命中分區 2 個

    輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。

    作答登入後可作答