monitoring

自動重新啟動無回應的 Worker 並避免造成重啟風暴

我們的監控系統在 2 分鐘內偵測到一個無回應的 GPU 工作單元，然後看著它持續停止運作了 6 小時。安全地縮小偵測與修復之間的差距。