システム障害が再発する：確認不足で終わらせない原因分析と対策

障害報告書の原因欄に「担当者の確認不足」、対策欄に「再教育とダブルチェック」。責任者が承認して、報告は終わる。ところが数か月後、別の担当者が似た操作をして同じ障害が起きる。最初の人が反省していなかったという説明では、二度目の障害を理解できません。

振り返りで答えたいのは、誰の操作が最後の引き金だったかだけではありません。次の担当者が同じ条件に置かれたとき、誤りを避けられるか、誤っても被害を止められるかです。操作した人を特定することと、再発条件を変えることは別の仕事です。

「責めない」は、操作を記録しないことではない

GoogleのSRE書籍は、ポストモーテムを、障害の影響、復旧の行動、原因、後続の対策を残す記録として説明しています。個人やチームを非難する代わりに、その時点の情報や判断を生んだ条件を調べる姿勢を重視しています。これは同社の実務経験に基づく指針で、日本企業を無作為に比較して障害削減率を求めた研究ではありません。Google SREの解説

ここで消してはいけないのは事実です。誰が、どの情報を見て、何を判断し、どう操作したかは、原因を考える材料になります。「責めないから人の行動には触れない」とすれば、なぜその操作が合理的に見えたかも分からなくなります。

例えば、結果を知ってから見れば危険な手順でも、当時の画面には安全な環境だと表示されていたかもしれません。古い説明書に従い、復旧を急ぐよう求められていたかもしれません。悪い結果から直ちに人の能力や態度を推定するより、当時使えた情報を再構成します。

振り返りには効果がある。ただし「会議を開く」と同じではない

TannenbaumとCerasoliの2013年のメタ分析は、46標本、計2,136人の研究を統合し、デブリーフを行うことによるパフォーマンスの改善を報告しました。個人とチーム、模擬環境と実務環境などを含む研究です。原論文の抄録

この結果は、経験を振り返る時間を取る価値を支持します。ただし、あらゆる報告会が有効だとはいえません。論文が扱うのは、経験を整理し、議論し、次の行動へ結びつける振り返りです。障害を減らす割合を日本の運用チームへそのまま移すこともできません。

Edmondsonの1999年の研究は、製造企業の51チームで、対人関係上のリスクを取れるという認識と、学習行動との関連を調べています。観察研究なので、「心理的安全性を上げれば障害が減る」という因果効果を直接確定したものではありません。それでも、疑問や失敗を話せることが、情報を集めて学ぶ過程と関わるという材料になります。論文・大学公開版

これらの根拠から組み立てる編集上の提案は、雰囲気をよくするだけの会議でも、反省を求める会議でもなく、次の行動が変わる記録を作ることです。

原因を「人」から「分岐した場面」へ移す

復旧作業が落ち着いたら、最初から一つの原因名を付けず、判断が分かれた場面を並べます。警報を受けた時点、対象環境を選んだ時点、実行を決めた時点、異常に気付いた時点。それぞれで何が見え、何が見えなかったのかを確かめます。

次に、誤りを防ぐ仕組みがどこにあったかを見ます。画面の表示、操作前の照合、実行権限、試験、被害の範囲を限定する構成、戻す方法などです。防御がなかったのか、あっても使えなかったのか、使ったが検出できなかったのかで、対策は変わります。

最後に、各対策がどの場面を変えるのかを書きます。「教育する」なら何を見分けられるようにするのか。「確認を増やす」なら独立した何の情報と照合するのか。「自動化する」なら誤った入力まで自動で広げないか。対策名だけで終わらせず、障害が再現する経路のどこを変えるかに結び付けます。

同じ誤操作でも、教育と設計変更の優先順位は違う

仮想の障害を考えます。担当者がテスト環境だと思って、本番のデータを変更しました。画面上の環境名が小さく、同じ色と配置で表示され、操作権限も両方に付いていたとします。この条件なら、「本番かよく確認する」という注意だけで終えず、見分ける情報、権限、変更前の防御を変える案を優先したいところです。

条件を変え、環境の区別と操作前の防御は機能しているものの、新任者が結果の読み方を知らず、警告を正常だと思って進めた場合はどうでしょうか。代表的な警告を使った練習や、判断できる人へ渡す経路に意味があります。仕組みの追加だけでは、警告を理解できないという問題が残るためです。

さらに、教育を受けた担当者が、停止を避けるために例外操作を繰り返していたなら、なぜ通常手順では仕事が終わらないかを調べます。操作を禁止しても、業務上の要求が変わらなければ、別の抜け道へ移る可能性があります。規則を守れない状況と、意図的に問題を隠した疑いを一緒にせず、後者の事実確認は別の手続きで扱います。

この仮想例は、個人への対応を一律に否定するものではありません。誰をどう評価するかを決めても、同じ条件で別の人が誤る経路が残るなら、再発防止は終わっていないという整理です。

同じ誤操作でも、教育、画面識別、実行直前の確認、権限分離では防御が働く地点が違います。選んだ対策で誤操作を止め、必要な復旧は妨げないかを試します。監査是正の有効性の記事も参照できますが、振り返り研究の平均的な改善を個別の防御の効果量としては使いません。 監査是正の有効性

進行役や書式を増やせば、学びも増えるのか

KeiserとArthurの2021年のメタ分析は、振り返りの効果を支持する一方、実施方法の効果が組み合わせによって変わることを示しています。例えば、構造化の程度による差は軍事と医療で同じではありませんでした。客観的な実施記録を使うことなども検討しています。原論文の抄録

この結果から、運用障害の振り返りにも特定の書式や専任の進行役が常に最善だとはいえません。必要なのは、当時の判断を再現できる証拠と、関係者が原因を検討できる進め方です。初稿の報告書に欄を増やすより、時刻がそろったログや、操作時の表示を得る方が役立つ場合があります。

逆に、記録がそろっていても、一人の説明だけが結論になっているなら、別の担当者の見えていた状況を引き出す進行に意味があります。方法の追加は、その会議で欠けている材料や議論を補うために選びます。研究が示す平均効果を、会議の長さや書式の細かさへ置き換えないことが大切です。

対策の担当者を決めただけでは、改善は完了しない

対策には、担当、実施する変更、確認方法を対応させます。新しいチェックを作ったなら、誤った対象を選んだケースで止まるか。復旧手順を変えたなら、必要な人と情報がそろうか。実施の有無と、その対策が狙った場面で働くことを分けて確認します。

全対策を一度に実施できない場合には、応急処置と恒久対策を分けます。応急処置をしたという理由で、残った経路を報告書から消さないことが大切です。大きな設計変更を待つ間にも、影響の大きい操作を限定するなど、実行できる対策を選べる場合があります。

評価する際には、報告件数だけを減らそうとしないようにします。話しやすくなった結果、以前は記録されなかった小さな異常が出てくる可能性があるからです。似た条件の障害が繰り返されたか、検出や復旧がどこで止まったか、約束した防御が実際に働いたかを見る方が、次の修正につながります。

「確認不足」で結論が止まったら、次の担当者に何が追加で見え、どの操作が止まり、何を練習できるのかを書き直す。知識の不足には練習を、誤りを誘う表示や権限には設計変更を、対策の放置には実施と検証の責任を置く。振り返りの完成品は反省文ではなく、同じ条件で別の結果を出すための変更です。