状況
障害対応中、対応チャンネルには次の情報が集まっている。あなたは対応責任者に意見を求められた。
適切な対応は?
14:00 v2.3.1 をデプロイ14:03 エラー率 0.2% → 18%14:10 原因のコードは未特定 v2.3.0 への切り戻し手順は検証済み正答
- 関係者の合意を得て v2.3.0 に戻し、原因調査は復旧後に行う
- 原因を特定して修正版を出すまで、切り戻さずに調査を続ける
- 原因が分からないまま戻しても意味がないので、様子を見る
- エラーログを削除して再デプロイし、エラーが止まるか試す
解説
直前のデプロイを境にエラーが急増しており、検証済みの切り戻し手順もある。この状況では、原因を特定する前にまず切り戻して利用者への影響を止めるのが一般的な判断である。原因調査は、復旧後に落ち着いて行えばよい。修正版を待つと、その間ずっと障害が続く。様子を見るのは影響を放置することになり、ログの削除は原因調査の手がかりを自ら消す行為である。
参考: sre.google
この問題を含む 実務シチュエーション のテストを制限時間つきで解く
実務シチュエーションクイズへ