SQL 中階・資料管線執行紀錄
條件彙總做樞紐、julianday 算耗時、COUNT(DISTINCT CASE) 找沒跑完的日子。
這一頁是題幹試閱;登入/註冊後每題可以在瀏覽器裡執行、對答案,第一次交對 +10 XP。
- 01
各階段筆數樞紐
中等樞紐管線報表要把每天三個階段的處理筆數攤成同一列,一眼看出哪一段少了資料。
每個 (
pipeline,run_date) 輸出一列:extract、transform、load 三個階段「成功(status= 'success')」那次的rows_processed。某階段當天沒有成功過就顯示 NULL;同一階段當天成功不只一次時,取筆數最大的那次(用MAX)。最後一欄是當天的總紀錄列數(含失敗與還在跑的)。輸出欄位依序為:
pipeline、run_date、extract 筆數、transform 筆數、load 筆數、總列數。依pipeline由小到大、再依run_date由小到大排序。資料表
pipeline_runs(資料管線執行紀錄,每個階段每跑一次一列):run_id紀錄編號(整數,主鍵,越晚越大)、pipeline管線名稱(文字)、run_date執行日(文字,格式 'YYYY-MM-DD')、stage階段(文字:'extract'、'transform'、'load')、started_at開始時間、finished_at結束時間(文字,格式 'YYYY-MM-DD HH:MM:SS';還在跑的為 NULL)、status狀態(文字:'success'、'failed'、'running')、rows_processed處理筆數(整數;失敗或還在跑的為 NULL)。同一天的同一個階段可能因為失敗重跑或手動補跑而有多列。本題在瀏覽器內以 SQLite 執行,只寫一段 SELECT 即可。
作答登入後可作答 - 02
每日管線耗時
中等時間差要比較每條管線每天從開始到結束總共花了幾分鐘(含失敗與重跑的等待時間)。
每個 (
pipeline,run_date) 的耗時=當天最晚的finished_at減去最早的started_at,換算成分鐘:ROUND((julianday(結束) - julianday(開始)) * 24 * 60, 1)。當天只要有任何一列finished_at是 NULL(還在跑),整天不列出。輸出欄位依序為:
pipeline、run_date、最早開始時間、最晚結束時間、耗時分鐘。依耗時由長到短排序;耗時相同時依pipeline由小到大、再依run_date由小到大。資料表
pipeline_runs(資料管線執行紀錄,每個階段每跑一次一列):run_id紀錄編號(整數,主鍵,越晚越大)、pipeline管線名稱(文字)、run_date執行日(文字,格式 'YYYY-MM-DD')、stage階段(文字:'extract'、'transform'、'load')、started_at開始時間、finished_at結束時間(文字,格式 'YYYY-MM-DD HH:MM:SS';還在跑的為 NULL)、status狀態(文字:'success'、'failed'、'running')、rows_processed處理筆數(整數;失敗或還在跑的為 NULL)。同一天的同一個階段可能因為失敗重跑或手動補跑而有多列。本題在瀏覽器內以 SQLite 執行,只寫一段 SELECT 即可。
作答登入後可作答 - 03
未全部成功的執行日
中等條件計數要找出哪些天的管線沒有跑完:同一個 (
pipeline,run_date) 裡,extract、transform、load 三個階段只要有一個從沒成功過(status= 'success'),這一天就算沒跑完。失敗後重跑成功的階段算成功。注意:同一個階段可能成功兩次(手動補跑),計算「成功了幾個階段」時同一個階段只能算一次。
輸出欄位依序為:
pipeline、run_date、成功的階段數。依pipeline由小到大、再依run_date由小到大排序。資料表
pipeline_runs(資料管線執行紀錄,每個階段每跑一次一列):run_id紀錄編號(整數,主鍵,越晚越大)、pipeline管線名稱(文字)、run_date執行日(文字,格式 'YYYY-MM-DD')、stage階段(文字:'extract'、'transform'、'load')、started_at開始時間、finished_at結束時間(文字,格式 'YYYY-MM-DD HH:MM:SS';還在跑的為 NULL)、status狀態(文字:'success'、'failed'、'running')、rows_processed處理筆數(整數;失敗或還在跑的為 NULL)。同一天的同一個階段可能因為失敗重跑或手動補跑而有多列。本題在瀏覽器內以 SQLite 執行,只寫一段 SELECT 即可。
作答登入後可作答

送件鴿飛出去了