AI & Data Dreamers練功房
寶箱片場規則
QUERY GATES・資料庫關卡・高階・3 題

SQL 高階・爬蟲任務的連續失敗、缺漏與去重

連續區段、遞迴 CTE 產生日期找缺漏、重複鍵只留最新一筆。

這一頁是題幹試閱;登入/註冊後每題可以在瀏覽器裡執行、對答案,第一次交對 +10 XP。

  1. 01

    連續失敗區段

    困難連續區段

    要找出每個來源「連續失敗」的區段。把同一個 source 的任務依 started_at 由早到晚排(started_at 相同時依 job_id 由小到大),中間沒有被其他狀態(success、running)隔開、連在一起的 failed 任務算同一個區段。

    只列長度 ≥ 2 的區段。每個區段輸出一列:source、first_job(區段第一個任務的 job_id)、last_job(最後一個任務的 job_id)、fails(區段內的任務數)。依 source 由小到大、再依 first_job 由小到大排序。

    資料表 crawl_job(爬蟲任務紀錄,每次執行一列):job_id 任務編號(整數,主鍵,越晚建立越大)、source 資料來源(文字)、run_date 這次要抓哪一天的資料(文字,格式 'YYYY-MM-DD')、started_at 開始時間、finished_at 結束時間(文字,格式 'YYYY-MM-DD HH:MM:SS';還在執行的任務為 NULL)、status 狀態(文字:'success'、'failed'、'running')、row_count 抓到的筆數(整數;失敗或還在執行的任務為 NULL)。同一個來源同一天失敗後可能重跑,所以同一組 (source, run_date) 可能有多列。

    本題在瀏覽器內以 SQLite 執行,只寫一段 SELECT 即可。

    作答登入後可作答
  2. 02

    沒排到的抓取日

    困難遞迴 CTE

    每個來源每天都應該為當天的 run_date 跑一次任務(不論成敗都算有跑)。請找出 2026-11-01 到 2026-11-06(含兩端)之間,哪些「來源+日期」完全沒有任務。

    來源以 crawl_job 裡出現過的 source 為準。資料庫沒有日曆表,日期要自己產生。

    輸出欄位依序為:source、missing_date。依 source 由小到大、再依 missing_date 由早到晚排序。

    資料表 crawl_job(爬蟲任務紀錄,每次執行一列):job_id 任務編號(整數,主鍵,越晚建立越大)、source 資料來源(文字)、run_date 這次要抓哪一天的資料(文字,格式 'YYYY-MM-DD')、started_at 開始時間、finished_at 結束時間(文字,格式 'YYYY-MM-DD HH:MM:SS';還在執行的任務為 NULL)、status 狀態(文字:'success'、'failed'、'running')、row_count 抓到的筆數(整數;失敗或還在執行的任務為 NULL)。同一個來源同一天失敗後可能重跑,所以同一組 (source, run_date) 可能有多列。

    本題在瀏覽器內以 SQLite 執行,只寫一段 SELECT 即可。

    作答登入後可作答
  3. 03

    重跑任務只留最新一次

    困難去重

    同一組 (source, run_date) 重跑過時,下游只採用最新的那一次:started_at 最晚的那筆;started_at 相同時取 job_id 較大的那筆。

    請只看「有重複」的組合(同一組 (source, run_date) 有 2 筆以上任務),每組輸出一列:source、run_date、runs(該組任務數)、kept_job(保留那筆的 job_id)、kept_status(保留那筆的 status)、kept_rows(保留那筆的 row_count,NULL 照印 None)。

    依 source 由小到大、再依 run_date 由早到晚排序。

    資料表 crawl_job(爬蟲任務紀錄,每次執行一列):job_id 任務編號(整數,主鍵,越晚建立越大)、source 資料來源(文字)、run_date 這次要抓哪一天的資料(文字,格式 'YYYY-MM-DD')、started_at 開始時間、finished_at 結束時間(文字,格式 'YYYY-MM-DD HH:MM:SS';還在執行的任務為 NULL)、status 狀態(文字:'success'、'failed'、'running')、row_count 抓到的筆數(整數;失敗或還在執行的任務為 NULL)。同一個來源同一天失敗後可能重跑,所以同一組 (source, run_date) 可能有多列。

    本題在瀏覽器內以 SQLite 執行,只寫一段 SELECT 即可。

    作答登入後可作答