フィッシング訓練の効果はどう測る？ クリック率と難易度の比較

前回よりリンクを押した人が減った。担当者は教育の成果として報告し、翌年度も同じ教材を契約する。だが、前回は社内の業務連絡に似たメール、今回は不自然な日本語の懸賞メールだったとしたら、比べているのは教育の効果だろうか。それとも問題の難しさだろうか。

訓練を実施した事実と、組織の被害を抑える能力が高まった証拠は別である。メールの難しさを揃えて危険な操作の変化を見たうえで、気付いた人の報告が防御へつながったかを確認する。 教材を増やすか、報告や対応の経路を直すかは、そこから選びたい。

本稿は、訓練を全廃する提案でも、従業員を採点する手順でもない。監査や予算審査で、どの証拠が教育の継続・変更を支えるのかを整理する。

クリック率には、受け手とメールの両方が入っている

米国NISTの2023年のPhish Scale利用手引きは、メール自体の特徴と受信者の状況を踏まえて、人が見抜く難しさを評価する方法を示している。クリック率や報告率だけでは、組織のフィッシングリスクの全体像にはならないという位置付けだ。NISTの利用手引き

差出人の不自然さが目立つメールと、実際に待っていた請求書に似たメールでは、同じ受信者でも判断条件が違う。訓練対象にした部署や、配信した時期が変わっても結果は動き得る。率の上下を見る前に、誰に、どんな用件を、どの状況で送ったかを残す必要がある。

ただし、難易度の尺度を使えば自動的に因果効果が分かるわけではない。同じ評点のメールでも内容や業務との関係は完全には一致しない。尺度は比較を改善する補助であり、前年との差を全て教材の効果へ変換する計算機ではない。

難易度の構成だけで率が動く仮想例を考えます。100人ずつに難しいメールと簡単なメールを送り、それぞれ20人と5人がクリックしたら、全体は12.5％です。次回、簡単なメールだけを200人へ送り10人がクリックすれば5％になります。この低下だけで訓練が効いたとはいえません。分母と課題をそろえる必要を示す例で、訓練効果の実測ではありません。

NISTの難易度の考え方を、課題を比較する補助へ使う。教材の受講、クリック、報告、報告から隔離までを別に扱えば、知識を教えた結果と実際の防御の変化を分けられる。人を順位付けする前に、同じメールを比較したか、報告者が受けた扱いが変わっていないかを確認する。

教材を見せても、次の行動が改善しなかった研究

Lainらが2022年のIEEEの会議で報告した研究は、協力企業の14,733人に、2019年7月から2020年10月まで模擬メールを送った。リンクのクリック、認証情報の入力などの危険操作、不審メールの報告を測定した。失敗直後に提示する埋め込み型教材は、その条件では将来の検知を改善しなかった。著者公開の原論文

この結果は、全ての情報セキュリティ教育に効果がないという証明ではない。教材の形式、提示の仕方、既に行われている教育、対象企業という条件がある。知識が不足している新任者への説明と、日常業務中に模擬メールを押した人へ教材を見せる方式を一緒に扱えない。

また、対象は模擬メールである。現実の攻撃被害額や、全ての侵入経路に対する抵抗力を直接推定したわけではない。それでも、「クリックした人へ教材を表示したので改善したはず」という説明には、行動の裏付けが必要だと分かる。

効果が見えても、教材の中身によるとは限らない

同じ研究グループの2024年の研究では、スイスで事業を行う企業の4,554人を対象に、2021年の6週間に3回の模擬メールを使って条件を比較した。著者らは、確認された効果を教材の内容より注意喚起の作用で説明し、教材が十分に読まれていないことも報告している。原論文

長期の研究と短期の研究では、期間や介入条件が違う。後者の結果を使って前者を誤りとすることも、注意喚起さえすれば長期の被害が減ると約束することもできない。知識を伝える効果、訓練されたと気付く効果、定期的に脅威を思い出す効果を分ける必要がある。

この違いは予算の使い方に関係する。教材の詳しさを増やしても読まれていないなら、説明の追加が次の行動を変えるとは限らない。逆に、報告先を知らない人へ報告方法を教えるなど、具体的な知識の欠落を埋める教育には別の役割がある。

監査で確認する証拠を、実施・行動・対応に分ける

以下は研究と手引きを踏まえた編集上の提案である。まず実施記録では、対象者、教材、模擬メールの内容、配信条件、難易度の見立てを確認する。修了率は実施の証拠にはなるが、安全な行動ができる証拠として単独では扱わない。

次に行動を分けて見る。メールを開いたこと、リンクを押したこと、認証情報を入力したこと、報告したことは別である。前段の率が下がっても、少数の人が重要な操作まで進んでいるなら、危険な経路は残っている。報告した人の割合だけでなく、最初の報告までの時間も確認材料になる。

最後に、報告を受けた後を追う。不審メールを分析し、必要な措置を選び、影響を受けた人へ連絡できたか。報告ボタンを付けただけでは、受け取る側の仕事は終わらない。報告件数が増えても処理が滞れば、早く気付ける能力を十分に使えていない。

同じ低下でも、教材を継続する理由は違う

架空の会社で、研修後にクリック率が下がったとする。メールを比較すると、研修前は部署の通常業務に似ていたのに、研修後は関係の薄い案内になっていた。この場合、まず比較条件を直すべきで、教材の予算を増やす理由としては弱い。

条件を変え、内容の難しさや対象部署が近く、危険操作が減り、報告も早まっていたとする。さらに比較対象を設けて同時期の変化と区別できれば、訓練を継続する根拠は強まる。ただし、それでも訓練方式全体の変化なのか、教材の中身の寄与なのかは、調べた設計に応じて範囲を限る。

もう一つの場合を考える。多くの人が不審だと気付いていたが、報告方法が分からず削除していた。ここでは教材を長くするより、報告方法を短く示し、受信後の処理を整える案が先になる。逆に、操作の危険性自体を理解していないなら、その操作に絞った練習を行う余地がある。

選ぶ案を分けるのは、研修時間が短かったかではない。知識がない、注意が向かない、報告できない、報告後に対応できないという、残っている弱点である。

評価の入口では、率の分母も揃えたい。配信対象者全員に対する割合なのか、届いた人に対する割合なのかが違えば、同じ名称の数値でも比較できない。対象者の入れ替わりや未到達を記録し、測定対象を途中で変えた場合はその前後をそのまま接続しない。これは教育の効果を作る工夫ではなく、評価の取り違えを防ぐための提案である。

さらに、教材内の確認問題に正解したことと、業務中の不審な連絡に対応できたことを別に残す。前者だけが改善したなら、学んだ内容が現場の行動へ移るところに課題が残る。両方が改善しても、比較対象や同時期の対策変更が分からなければ、教材だけの成果として報告しない。

人を順位付けする前に、比較の公平さを問う

経理には請求書、採用担当には応募書類が届く。仕事上開く必要のある情報と似た訓練を受ける人と、無関係なメールを受ける人を、単純なクリック率で順位付けしない方がよい。役割が違えば接触する機会も違う。

個人の失敗だけを強く問題にすると、誤操作後に知らせにくくなるおそれもある。実際に何を入力したかを早く知らせてもらうことと、訓練の成績を競わせることは、同じ目的ではない。報告の扱いを明示し、失敗後にも対応へつながる経路を残したい。

技術的な防御や認証の対策を、教育の代わりか教育かという二者択一にする必要もない。教育は人が判断する場面を支える一方、全員が毎回見抜くという前提に依存しない防御を別途設計する。教材の評価が良くても、他の防御を外す根拠にはならない。

監査の結論は「訓練済み」より一段先へ進められる。条件の違いで率が動いただけなら、効果の説明を修正する。知識の欠落があれば、その部分を教える。気付いた後に止まっているなら、報告と対応へ資源を移す。クリック率は、その判断の入口として使い、組織全体の安全性の合格印にはしない。