監査で不備ゼロなら安心か? サンプル数と抽出方法の読み方
監査の報告に「100件を確認し、不備はありませんでした」とあります。数字が付くと、十分に調べたように見えます。しかし、確認したのが資料を集めやすい部署の案件だけなら、別部署の処理については何も分かっていないかもしれません。
反対に、全件を見なかったという理由で、どの抽出調査も信用できないとするのも適切ではありません。問題は件数の大きさではなく、どの集まりから、何を確かめるために、どう選んだかです。監査の結論を読むときは、この三つを先に確認したいところです。
この記事の目次
「問題を見つける抽出」と「全体を推測する抽出」は違う
怪しい取引や重要な変更へ重点を置く調査には意味があります。重大な不備を早く見つけ、経路を調べるという目的に合うからです。しかし、そのように選んだ案件の不備率を、すべての案件の不備率と同じに扱うことはできません。
米国の監査基準PCAOB AS 2315は、監査サンプリングについて、母集団、監査目的、抽出方法、標本数、結果の評価を扱っています。母集団を代表すると期待できる選び方や、項目が選ばれる機会を持つことを示す一方、標本数だけでなく、不備の性質と原因も評価するよう求めています。これは米国の財務諸表監査に関する基準で、日本のすべてのシステム監査へそのまま適用する規則ではありません。AS 2315
本稿は、その考え方をシステムの変更記録や承認履歴へ当てはめる編集上の整理です。専門家による監査設計の代わりに、経営側が「100件」という数字から読み過ぎないための確認点を示します。
例えば重大なシステム変更をすべて確認し、通常の変更は抽出する設計が考えられます。この場合、重大変更の結果と通常変更の結果を分けて報告します。意図的に重大変更を多く見た標本を一つに混ぜ、単純な平均で全体の品質を表さないようにします。
不備ゼロは、不備率ゼロを意味しない
標本の選び方が適切でも、偶然による見逃しは残ります。数字を使った仮想例で考えてみます。各項目に不備がある確率を1%と仮定し、互いに独立した100件を同じ確率モデルから調べ、不備があれば必ず見つけられるものとします。
この場合、不備が一つも見つからない確率は、0.99を100回掛けた約36.6%です。不備が存在する過程でも、100件でゼロという結果は十分に起こります。 これは実際の会社の不備率を推定した数字ではなく、前提を置いた二項分布の計算です。NISTの二項比率の説明
ここから「監査では1%まで許してよい」とは導けません。また、不備ゼロだった会社に36.6%の確率で問題があるという意味でもありません。仮定した不備率から標本結果の確率を計算したのであり、結果から会社の安全確率を逆算したわけではないからです。
実務では、同じ担当者や同じ日付に不備が集中することもあります。限られた期間から連続した100件を取れば、上の独立という前提は成り立たないかもしれません。計算式だけ借りても、対象の集め方が違えば解釈は変わります。
では、不備ゼロという観測から上限をどう読むのでしょうか。同じ独立・同確率・完全検出のモデルで、片側95%信頼上限は1−0.05の(1÷標本数)乗となり、100件なら約2.95%、300件なら約0.99%です。(1−不備率)の標本数乗が5%になる不備率を求めています。先に参照したNISTの二項比率の説明に対応する計算です。
95%は「この会社が95%の確率で上限以下だ」という事後確率ではない。同じ抽出手続きを繰り返すときの区間の性質を表す。標本数を3倍にしたら安全が3倍になるわけでもない。抽出一覧の欠落や検査の見逃しは、この計算には入っていない。
また、有限の台帳から重複なしで抽出した場合は、母集団の大きさも関わる。例えば全100件の台帳を全部調べて不備ゼロなら、その台帳内の検査結果に抽出の不確実性は残らない。台帳外の変更や検査できない不備は残る。「全100件」と「全体から選んだ100件」を、報告の同じ欄へ書かない。
一覧に載っていない処理は、何件抽出しても見つからない
抽出の前に、一覧が対象を含んでいるかを確かめます。変更管理台帳から選んだ100件を調べても、台帳を通さずに実行された変更は候補に入りません。調べた結果が正しくても、「無承認変更がない」という別の問いには答えていない可能性があります。
この場合、台帳から抽出する件数を増やすより、実際の変更ログなど別の情報と照合する方が目的に合います。ただし、ログの取得対象や保存期間が足りなければ、そちらも全体を表しているとはいえません。一覧の正しさを別の一覧で確かめたつもりが、同じ欠落を引き継いでいないかを見ます。
同様に、「承認欄が埋まっているか」と「必要な内容が承認前に確かめられたか」は違う検査です。全件の欄を自動点検しても、承認の中身まで正しいとは限りません。何を不備と定義し、その検査でどこまで検出できるかを、件数と一緒に説明する必要があります。
条件が変わったら、追加するのは件数か調査方法か
仮想の会社で、通常の変更は統一手順で行われ、記録も同じ形式で保存されているとします。その期間の統制が機能しているかを知りたいなら、対象期間や部署を含めた抽出設計を監査担当と確認し、抽出結果の不確かさを含めて評価する案が考えられます。
ところが、重大な権限変更が少数あり、一件の不備でも大きな影響が出る場合には、通常変更とまとめた抽出で済ませるかを見直します。その重要な集合を別に取り出して全件確認する案には理由があります。これは特定の数字を超えたら必須という基準ではなく、見逃した場合の影響を踏まえた提案です。
さらに、緊急変更の記録が後から作られていることが判明したなら、単純な抽出件数の追加だけでは不十分かもしれません。実行時点の記録と承認の順序を照合し、どの処理まで同じ問題が及ぶかを調べる必要があります。標本から一件を見つけた意味は、不備率を計算することだけではありません。
これらの場面では、「不備が少ないから追加しない」「不備が出たから一律に倍の件数を取る」という機械的な判断を避けます。不備が示す原因と、残った問いに応じて、同種の対象を広げるか、別の証拠を得るかを選びます。
全件検査なら、抽出の議論は不要になるのか
自動で全件を検査できるなら、なぜ標本にこだわるのかという反論もあります。PCAOBの基準は、抽出によるリスクとは別に、検査手続きが適切でない、調べた資料の不備を認識できないといったリスクを区別しています。全件へ同じ誤った検査を適用しても、それは残ります。AS 2315・抽出以外のリスク
したがって、機械で確かめられる形式的な条件は全件検査し、その検査自体が正しいかや、記録の意味が妥当かを別の方法で確かめる組み合わせが考えられます。全件か抽出かの二択ではなく、何を機械が検出でき、どこに人の判断が要るかで分けます。これは本稿の提案で、特定の監査基準がこの組み合わせを全企業へ義務付けたという意味ではありません。
例えば検査用の設定が誤って、必須の承認欄を任意として扱っていたなら、件数を増やす前に設定と判定条件を直します。反対に、検査は適切で、残る懸念が未確認項目のばらつきなら、抽出設計や標本数の見直しが候補になります。同じ「確認が足りない」でも、増やすべきものは違います。
報告では、分かった範囲を短く具体的に書く
経営会議へ伝えるなら、「100件で問題なし」だけでなく、対象期間、対象となる仕事、除外した仕事、選び方、検査内容を対応させます。調査結果と、そこから支持できる結論を分けて記載すれば、長い留保を毎回並べなくても読み違いを減らせます。
例えば「通常変更の承認記録を対象にした抽出では不備を検出していない。緊急変更と台帳外の変更は別の照合が必要」と書けば、追加調査の目的が明確になります。「システム全体が安全」と書くより、次の判断に使える報告です。
代表性のある抽出が目的の母集団と検査に対応していれば、不確かさを含めてその範囲の判断に使う。重要な少数案件は別に扱い、対象一覧や検出方法が欠けていれば、件数を足す前にそこを直す。監査サンプルの価値は、調べた数の大きさではなく、必要な結論を支える設計にあります。