資料工程初階・API 回應的處理
依狀態碼決定重試或放棄、查詢參數組成網址、照 next 合併分頁回應、回應欄位的型別檢查。
這一頁是題幹試閱;登入/註冊後每題可以在瀏覽器裡執行、對答案,第一次交對 +10 XP。
- 01
依狀態碼決定重試或放棄
容易API 回應爬蟲呼叫 API 時,依每次回應的 HTTP 狀態碼決定下一步:
- 200–299:成功,停止
- 429(請求太頻繁)或 500–599(伺服器錯誤):可以重試。已經嘗試的次數小於上限 M 就再試一次;等於 M 就停止,結果是「重試用盡」
- 其他狀態碼(測資只會出現 4xx):重試也沒用,停止,結果是「放棄」
每個請求給一串狀態碼,第 k 個是第 k 次嘗試會拿到的狀態碼。測資保證停止前狀態碼夠用;停止後剩下的不看。
輸入:
第 1 行:嘗試次數上限 M(含第一次)
第 2 行:請求數 n
接下來 n 行:
請求代號 狀態碼1,狀態碼2,...輸出:
- 每個請求一行
請求代號 結果 最後的狀態碼 嘗試次數,結果是成功、放棄或重試用盡 - 最後一行
成功 a/放棄 b/重試用盡 c(/是全形斜線)
範例輸入:
2
3
a 200
b 503,503,200
c 403
範例輸出:
a 成功 200 1
b 重試用盡 503 2
c 放棄 403 1
成功 1/放棄 1/重試用盡 1
輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。
作答登入後可作答 - 02
查詢參數組成網址
容易API 請求呼叫 API 前要把查詢參數接到網址後面。規則:
- 值是空字串的參數不送
- 同一個參數名稱出現多次,每一個都送(例
tag=a&tag=b) - 依參數名稱由小到大字串排序;同名的參數保持輸入順序
- 名稱與值都用
urllib.parse.urlencode的預設方式編碼:英文字母、數字與_.-~不變,空白變成+,其他字元(含中文、,、&、=、/)換成 UTF-8 的%XX(大寫十六進位)。可以直接用urlencode(list_of_pairs),它的預設編碼就是這樣 - 原本的網址已經含
?時,用&接上參數;不含?時用?接上 - 去掉空值後沒有參數,就印原本的網址
輸入:
第 1 行:網址數 t
接下來 t 組,每組:一行原本的網址、一行參數數 n、n 行
名稱=值(以第一個=切開)輸出:每組一行,組好的網址。
範例輸入:
1
https://x.com/api
3
b=2
a=hello world
c=
範例輸出:
https://x.com/api?a=hello+world&b=2
輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。
作答登入後可作答 - 03
照 next 合併分頁回應
容易API 回應API 的分頁回應每頁是一行 JSON:
{"page": 2, "next": 3, "items": [{"id": 5, "name": "台達電"}, ...]}。next是下一頁的頁碼,最後一頁是null。各頁是平行抓回來的,給你的順序是亂的,也可能混進不在這次結果裡的舊頁。請從
page是 1 的那頁開始,照next一頁一頁走到next是null為止;沒走到的頁不收。測資保證走到的每一頁都有給,不會繞回走過的頁。資料在抓取期間有異動,同一個
id可能出現在相鄰兩頁;依走訪順序,第一次出現的保留,之後再出現的算重複、不收。輸入:
第 1 行:頁數 n
接下來 n 行:每行一頁的 JSON
輸出:
- 依走訪順序與頁內順序,每筆保留的資料一行
id name - 最後一行
頁數:x 筆數:y 重複:z,x 是走到的頁數,y 是保留的筆數,z 是重複的筆數
範例輸入:
2
{"page": 2, "next": null, "items": [{"id": 2, "name": "B"}]}
{"page": 1, "next": 2, "items": [{"id": 1, "name": "A"}, {"id": 2, "name": "B"}]}
範例輸出:
1 A
2 B
頁數:2 筆數:2 重複:1
輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。
作答登入後可作答 - 依走訪順序與頁內順序,每筆保留的資料一行
- 04
回應欄位型別檢查
容易API 回應API 回應的每筆紀錄寫入資料表前,要依約定的欄位型別檢查。約定寫成一行,項目以逗號分隔,每項
欄名:型別,型別名稱結尾加?表示選填。型別有int、float、str、bool、list。每筆紀錄是一行 JSON 物件,
json.loads之後依約定的順序逐欄檢查:- 欄位不存在:必填欄位記一則
欄名 缺少;選填欄位沒問題 - 值是
null:選填欄位沒問題;必填欄位記一則欄名 應為 型別 實為 null - 其他情況比對值的實際型別,不符記一則
欄名 應為 型別 實為 實際型別(訊息裡的型別不含?)
型別相符的規則:
int只接受整數(true/false不算整數);float接受整數或小數(true/false不算);str、bool、list各自只接受字串、布林、陣列。實際型別的名稱依值寫成null、bool、int、float、str、list、dict其中一個。約定以外的欄位不檢查。輸入:
第 1 行:欄位約定
第 2 行:紀錄數 n
接下來 n 行:每行一筆 JSON
輸出:
- 每筆一行:沒有問題印
第 i 筆:OK;有問題印第 i 筆:接上各則問題,依約定的欄位順序以全形分號;分隔(i 從 1 起算) - 最後一行
通過 a/不通過 b
範例輸入:
a:int,b:str?
2
{"a": 1}
{"a": 1.5, "b": null}
範例輸出:
第 1 筆:OK
第 2 筆:a 應為 int 實為 float
通過 1/不通過 1
輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。
作答登入後可作答 - 欄位不存在:必填欄位記一則

送件鴿飛出去了