状況
金曜 18 時、オンコール当番のあなたに「ログインできない」という問い合わせが続けて届いた。ダッシュボードでは、17:50 の設定変更の直後から認証 API のエラー率が 40% に上がっている。
対応する順番に並べてください。
正答
- 設定変更の内容を見直し、なぜ失敗したかを調べる
- 障害チャンネルで、影響と対応開始を共有する
- 17:50 の設定変更を元に戻す
- ポストモーテムで再発防止策をまとめる
- エラー率が下がり、ログインできることを確かめる
正しい順番
- 障害チャンネルで、影響と対応開始を共有する
- 17:50 の設定変更を元に戻す
- エラー率が下がり、ログインできることを確かめる
- 設定変更の内容を見直し、なぜ失敗したかを調べる
- ポストモーテムで再発防止策をまとめる
解説
最初に共有すれば、問い合わせ対応や応援を並行して進められる。直前の設定変更と症状の始まりが一致しているので、原因を突き止める前に変更を戻して止血する。戻したらエラー率とログインを確かめ、止血が効いたことを確認する。なぜ失敗したかの調査は、利用者への影響が止まってから落ち着いて行えばよい。原因の調査を先にすると、その間ずっとログインできない利用者が増え続ける。再発防止は原因が分かってからまとめる。
参考: sre.google
この問題を含む 実務シチュエーション のテストを制限時間つきで解く
実務シチュエーションクイズへ