資料工程高階・部署與版本
服務啟動順序與健康檢查、滾動更新模擬、設定版本與回滾、資料表遷移腳本依序套用。
這一頁是題幹試閱;登入/註冊後每題可以在瀏覽器裡執行、對答案,第一次交對 +10 XP。
- 01
服務啟動順序與健康檢查
困難部署用 Docker Compose 啟動一組服務,每個服務可以設定相依(
depends_on)以及要等到什麼條件:started:相依的服務已經啟動就可以開始healthy:相依的服務要通過健康檢查才可以開始
每個服務寫成
名稱 秒數 健康檢查 相依:- 秒數:從啟動到健康檢查通過需要的秒數
- 健康檢查:
ok表示會在「啟動時刻 + 秒數」通過;fail表示啟動了但永遠不會通過 - 相依:
-表示沒有;否則以逗號分隔的服務:條件
時間從 0 開始。一個服務的啟動時刻是它所有相依條件都滿足的最早時刻(沒有相依就是 0):條件是
started時取相依服務的啟動時刻,條件是healthy時取相依服務的健康時刻,全部取最大值。只要有一個相依條件永遠不會滿足(相依服務未啟動,或條件是healthy而相依服務健康檢查失敗),這個服務就不會啟動。測資保證相依的服務都有定義、沒有循環相依,但定義的順序不一定在相依的服務後面。輸入:
第 1 行:服務數 n
接下來 n 行:服務定義
輸出:
- 有啟動的服務,依(啟動時刻, 名稱)由小到大,每個一行:健康檢查通過印
啟動時刻 名稱 健康 健康時刻;失敗印啟動時刻 名稱 健康檢查失敗 - 沒有啟動的服務,依輸入順序,每個一行
未啟動 名稱(等待 X),X 是它的相依清單裡依寫的順序第一個不會滿足的相依服務名稱 - 最後一行:全部服務都健康印
全部就緒:T 秒(T 是最晚的健康時刻);否則印未就緒:接上健康檢查失敗與未啟動的服務名稱(由小到大字串排序,以逗號分隔)
範例輸入:
3
app 2 ok db:healthy
db 5 ok -
proxy 1 ok app:started
範例輸出:
0 db 健康 5
5 app 健康 7
5 proxy 健康 6
全部就緒:7 秒
輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。
作答登入後可作答 - 02
滾動更新模擬
困難部署服務有 N 個舊版實例,要用滾動更新換成 N 個新版實例。兩個參數:
u(maxUnavailable):可用實例數不能少於 N − us(maxSurge):實例總數(舊版 + 新版,含還沒就緒或健康檢查失敗的)不能超過 N + s
可用實例 = 舊版實例 + 已就緒的新版實例。本題把更新切成一輪一輪,每輪依序做:
- 停掉舊版:停 min(舊版數, 可用數 − (N − u)) 個(不是正數就不停)
- 建立新版:建 min(N − 已建立的新版總數, (N + s) − 目前總數) 個(不是正數就不建)。這一步之前的可用數,是這一輪的最低可用數
- 這輪建立的新版實例依序做健康檢查,結果依序取自給定的清單(清單用完之後一律算
ok):ok的在這輪結束時就緒;fail的永遠不會就緒,但仍算在總數裡
一輪結束時,若這輪有健康檢查失敗,更新停止。若舊版數是 0 而且已就緒的新版數是 N,更新完成。測資保證 u 與 s 不同時為 0、u < N。
輸入:
第 1 行:情境數 t
每個情境兩行:
N u s,以及健康檢查結果清單(以空白分隔的ok/fail;沒有結果時這行是-)輸出:每個情境:
== N=… u=… s=… ==- 每輪一行
第 r 輪:停 a 舊、建 b 新 → 舊 x、新 y(就緒 z),y 是已建立的新版總數(含失敗的) - 若因失敗停止:
第 r 輪有新實例健康檢查失敗,停止更新;否則:完成,共 r 輪 最低可用:k,k 是所有輪的最低可用數中的最小值
範例輸入:
2
2 1 0
-
3 0 2
ok fail
範例輸出:
== N=2 u=1 s=0 ==
第 1 輪:停 1 舊、建 1 新 → 舊 1、新 1(就緒 1)
第 2 輪:停 1 舊、建 1 新 → 舊 0、新 2(就緒 2)
完成,共 2 輪
最低可用:1
== N=3 u=0 s=2 ==
第 1 輪:停 0 舊、建 2 新 → 舊 3、新 2(就緒 1)
第 1 輪有新實例健康檢查失敗,停止更新
最低可用:3
輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。
作答登入後可作答 - 03
設定版本與回滾
困難版本管理服務設定用版本管理:修改先暫存,提交後產生新版本;回滾不是刪掉新版本,而是產生一個內容和舊版本相同的新版本(和
helm rollback的做法一樣)。一開始沒有任何版本,目前內容是空的,沒有暫存的修改。指令有:
set key value:暫存修改,把 key 設成 value(value 不含空白)del key:暫存修改,刪除 key(key 不存在也算一筆暫存修改)commit 說明:把暫存的修改依序套用到目前內容。套用後內容和最新版本相同(沒有任何版本時,和空內容相同)印沒有變更,暫存清空、不產生版本;否則產生下一個版本號(從 1 起算),印v版本號 已提交,暫存清空rollback k:依序判斷:有暫存的修改,印有未提交的修改,不能回滾;版本 k 不存在,印版本 k 不存在;否則產生下一個版本號,內容等於版本 k,印v版本號 已回滾到 vkdiff a b:比較版本 a 與版本 b 的內容。任一個版本不存在印版本不存在;兩邊相同印相同;否則依 key 由小到大字串排序,每個有差異的 key 一行:只在 b 有印+ key=值,只在 a 有印- key=值,兩邊值不同印~ key: a的值 -> b的值log:每個版本一行,由新到舊:提交產生的印v版本號 說明,回滾產生的印v版本號 rollback to vk;沒有版本印沒有版本
set、del不印任何東西。說明不含空白。輸入:
第 1 行:指令數 n
接下來 n 行:指令
輸出:依指令順序印出各指令的結果。
範例輸入:
6
set a 1
commit 第一版
set a 2
commit 第二版
rollback 1
diff 2 3
範例輸出:
v1 已提交
v2 已提交
v3 已回滾到 v1
~ a: 2 -> 1
輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。
作答登入後可作答 - 04
資料表遷移腳本依序套用
困難版本管理資料表結構的修改寫成遷移腳本,檔名格式
V版本__說明.sql,版本是以.分隔的整數(例1、1.1、2、10),轉成整數 tuple 後比大小:1.1是 (1, 1)、1.10是 (1, 10),所以1.1<1.10;2<10;段數不同時照 tuple 的比較規則,1<1.1。測資不會有兩個檔案版本相同。資料庫有一張「已套用紀錄」,每筆
版本 checksum 狀態,狀態是success或failed。執行一次遷移時,先依下列四條規則檢查,四條都要檢查完:
- 紀錄裡有
failed的版本:錯誤:版本 x 上次失敗,需先修復 - 紀錄裡的版本找不到對應的檔案:
錯誤:版本 x 的檔案遺失 - 紀錄裡的版本有檔案,但 checksum 不同(
failed的版本不比對):錯誤:版本 x 的 checksum 不符 - 還沒套用的檔案(版本不在紀錄裡),版本小於紀錄裡最大的版本:
錯誤:版本 x 早於已套用的版本 y,y 是紀錄裡最大的版本(含failed的紀錄)
錯誤依規則編號的順序印,同一條規則內依版本由小到大。有任何錯誤時,接著印
未套用任何遷移,這個情境結束。沒有錯誤時,還沒套用的檔案依版本由小到大逐一執行,執行結果由輸入給定(沒給的版本算成功):成功印
套用 版本 說明,在紀錄加一筆success;失敗印失敗 版本 說明,停止,在紀錄加一筆failed,後面的不再執行。沒有要套用的檔案時印已是最新。最後印
目前版本:v,v 是紀錄裡狀態為success的最大版本;沒有就印目前版本:無。版本一律照檔名或紀錄裡的原字串印。輸入:
第 1 行:情境數 t
每個情境:
- 一行檔案數 f,接下來 f 行
檔名 checksum - 一行紀錄數 r,接下來 r 行
版本 checksum 狀態 - 一行執行結果:以空白分隔的
版本:ok或版本:fail(版本照檔名裡的寫法,例3:fail、1.1:ok);沒有時這行是-
輸出:每個情境先印
== 情境 i ==(i 從 1 起算),再印上面的內容。範例輸入:
2
2
V1__init.sql a
V2__add.sql b
1
1 a success
-
2
V1__init.sql a
V2__add.sql b
1
1 z success
-
範例輸出:
== 情境 1 ==
套用 2 add
目前版本:2
== 情境 2 ==
錯誤:版本 1 的 checksum 不符
未套用任何遷移
目前版本:1
輸入請用 input() 逐行讀取(平台不支援 sys.stdin)。執行時平台會把每一行測資回顯在輸出最前面,這是正常的,不用自己印。starter 已先把全部輸入讀進來,請保留這段,不要在迴圈裡邊讀邊印(回顯行會插進輸出中間,就對不上答案)。本題在瀏覽器內以 Pyodide 執行,只用標準函式庫。
作答登入後可作答 - 紀錄裡有

送件鴿飛出去了