AI & Data Dreamers練功房
寶箱片場規則
PIPELINE GATES・資料工程關卡・初階・4 題

資料工程初階・API 回應的處理

依狀態碼決定重試或放棄、查詢參數組成網址、照 next 合併分頁回應、回應欄位的型別檢查。

這一頁是題幹試閱;登入/註冊後每題可以在瀏覽器裡執行、對答案,第一次交對 +10 XP。

  1. 01

    依狀態碼決定重試或放棄

    容易API 回應

    爬蟲呼叫 API 時,依每次回應的 HTTP 狀態碼決定下一步:

    • 200–299:成功,停止
    • 429(請求太頻繁)或 500–599(伺服器錯誤):可以重試。已經嘗試的次數小於上限 M 就再試一次;等於 M 就停止,結果是「重試用盡」
    • 其他狀態碼(測資只會出現 4xx):重試也沒用,停止,結果是「放棄」

    每個請求給一串狀態碼,第 k 個是第 k 次嘗試會拿到的狀態碼。測資保證停止前狀態碼夠用;停止後剩下的不看。

    輸入:

    第 1 行:嘗試次數上限 M(含第一次)

    第 2 行:請求數 n

    接下來 n 行:請求代號 狀態碼1,狀態碼2,...

    輸出:

    • 每個請求一行 請求代號 結果 最後的狀態碼 嘗試次數,結果是 成功、放棄 或 重試用盡
    • 最後一行 成功 a/放棄 b/重試用盡 c(/ 是全形斜線)

    範例輸入:

    2

    3

    a 200

    b 503,503,200

    c 403

    範例輸出:

    a 成功 200 1

    b 重試用盡 503 2

    c 放棄 403 1

    成功 1/放棄 1/重試用盡 1

    輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。

    作答登入後可作答
  2. 02

    查詢參數組成網址

    容易API 請求

    呼叫 API 前要把查詢參數接到網址後面。規則:

    1. 值是空字串的參數不送
    2. 同一個參數名稱出現多次,每一個都送(例 tag=a&tag=b)
    3. 依參數名稱由小到大字串排序;同名的參數保持輸入順序
    4. 名稱與值都用 urllib.parse.urlencode 的預設方式編碼:英文字母、數字與 _.-~ 不變,空白變成 +,其他字元(含中文、,、&、=、/)換成 UTF-8 的 %XX(大寫十六進位)。可以直接用 urlencode(list_of_pairs),它的預設編碼就是這樣
    5. 原本的網址已經含 ? 時,用 & 接上參數;不含 ? 時用 ? 接上
    6. 去掉空值後沒有參數,就印原本的網址

    輸入:

    第 1 行:網址數 t

    接下來 t 組,每組:一行原本的網址、一行參數數 n、n 行 名稱=值(以第一個 = 切開)

    輸出:每組一行,組好的網址。

    範例輸入:

    1

    https://x.com/api

    3

    b=2

    a=hello world

    c=

    範例輸出:

    https://x.com/api?a=hello+world&b=2

    輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。

    作答登入後可作答
  3. 03

    照 next 合併分頁回應

    容易API 回應

    API 的分頁回應每頁是一行 JSON:{"page": 2, "next": 3, "items": [{"id": 5, "name": "台達電"}, ...]}。next 是下一頁的頁碼,最後一頁是 null。

    各頁是平行抓回來的,給你的順序是亂的,也可能混進不在這次結果裡的舊頁。請從 page 是 1 的那頁開始,照 next 一頁一頁走到 next 是 null 為止;沒走到的頁不收。測資保證走到的每一頁都有給,不會繞回走過的頁。

    資料在抓取期間有異動,同一個 id 可能出現在相鄰兩頁;依走訪順序,第一次出現的保留,之後再出現的算重複、不收。

    輸入:

    第 1 行:頁數 n

    接下來 n 行:每行一頁的 JSON

    輸出:

    • 依走訪順序與頁內順序,每筆保留的資料一行 id name
    • 最後一行 頁數:x 筆數:y 重複:z,x 是走到的頁數,y 是保留的筆數,z 是重複的筆數

    範例輸入:

    2

    {"page": 2, "next": null, "items": [{"id": 2, "name": "B"}]}

    {"page": 1, "next": 2, "items": [{"id": 1, "name": "A"}, {"id": 2, "name": "B"}]}

    範例輸出:

    1 A

    2 B

    頁數:2 筆數:2 重複:1

    輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。

    作答登入後可作答
  4. 04

    回應欄位型別檢查

    容易API 回應

    API 回應的每筆紀錄寫入資料表前,要依約定的欄位型別檢查。約定寫成一行,項目以逗號分隔,每項 欄名:型別,型別名稱結尾加 ? 表示選填。型別有 int、float、str、bool、list。

    每筆紀錄是一行 JSON 物件,json.loads 之後依約定的順序逐欄檢查:

    • 欄位不存在:必填欄位記一則 欄名 缺少;選填欄位沒問題
    • 值是 null:選填欄位沒問題;必填欄位記一則 欄名 應為 型別 實為 null
    • 其他情況比對值的實際型別,不符記一則 欄名 應為 型別 實為 實際型別(訊息裡的型別不含 ?)

    型別相符的規則:int 只接受整數(true/false 不算整數);float 接受整數或小數(true/false 不算);str、bool、list 各自只接受字串、布林、陣列。實際型別的名稱依值寫成 null、bool、int、float、str、list、dict 其中一個。約定以外的欄位不檢查。

    輸入:

    第 1 行:欄位約定

    第 2 行:紀錄數 n

    接下來 n 行:每行一筆 JSON

    輸出:

    • 每筆一行:沒有問題印 第 i 筆:OK;有問題印 第 i 筆: 接上各則問題,依約定的欄位順序以全形分號 ; 分隔(i 從 1 起算)
    • 最後一行 通過 a/不通過 b

    範例輸入:

    a:int,b:str?

    2

    {"a": 1}

    {"a": 1.5, "b": null}

    範例輸出:

    第 1 筆:OK

    第 2 筆:a 應為 int 實為 float

    通過 1/不通過 1

    輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。

    作答登入後可作答