AI導入の承認は、精度だけで決められない。監査で問うべきは誤りの行き先と止める権限
導入審査に「評価データで正答率95％」という資料が出てきた。残る5％が商品タグの付け間違いなのか、支払先の誤案内なのかで、経営が引き受ける問題は違う。にもかかわらず、モデルの点数だけを承認資料の中心に置くと、誰がどこで誤りを止めるかが後回しになる。
95％は本稿の仮の数字であり、特定製品の実績ではない。問いは、その水準が高いか低いかではなく、評価結果がどの用途の利用判断を支えているかである。正答の定義や評価した件数も不明なら、この数字だけから誤りの内容や発生頻度を見積もることもできない。
本稿では、公的なAIリスク管理の枠組みと実際の監査事例を踏まえ、用途を限定した利用承認と保留を分ける考え方を提案する。精度に加え、影響に見合う検証、責任者、監視、停止・訂正の手段が具体化している範囲で利用を判断する。枠組みへの対応だけで安全や法令適合が保証される、という話ではない。
この記事の目次
モデルの名前では、承認する範囲が定まらない
同じAIでも、社内資料の見出し候補を作る用途と、顧客へ契約条件を回答する用途では、参照する情報も出力後の扱いも異なる。「このモデルは承認済み」とだけ登録すると、後者まで確認済みであるかのように利用が広がり得る。
米国NISTのAI RMF 1.0は、リスク管理をGOVERN、MAP、MEASURE、MANAGEの四つの機能で整理する。単一の性能点ではなく、利用状況を把握し、測定と対応を組織の責任に結び付ける枠組みだ。任意の利用を想定したものであり、日本企業に対する法的な合格基準ではない。NIST「AI RMF Core」
本稿の実務案では、承認の単位を「モデル＋用途＋入力情報＋出力先＋実行権限」とする。AIが返答文を提案するだけなのか、自動送信まで行うのかも分ける。提案を作る実験の結果だけで、自動送信を含む利用を承認しないためである。
審査資料は、長い機能一覧よりも一件の処理を追える方がよい。誰が入力し、どの資料を参照し、何を出力し、その結果で誰の行動が変わるのか。人が途中で確認すると説明されているなら、その人に必要な情報と判断時間があるかまで確かめる。
評価用の問題に正解しても、本番の判断を支えない場合
例えば、通常の取引ばかりを集めた1,000件で評価しているのに、利用目的は例外的な取引の判断支援だったとする。高い平均正答率でも、目的にとって重要な範囲を十分に試していない。
生成AIを扱うNIST AI 600-1では、利用環境に近い条件での評価や生成された参照情報の確認、導入後の監視・異議申立て・停止などの対応が示されている。2024年のリスク管理指針であり、これらを実施した企業の事故が一定割合減ると示す比較実験ではない。NIST「Generative Artificial Intelligence Profile」
ここから本稿が提案するのは、平均値の横に、重大な失敗につながる用件を分けた結果を置くことだ。通常の案内と例外判断、社内メモと社外送信、修正可能な分類と実際の支払いを同じ箱に入れない。
また、回答が間違っていたときと、必要な回答を拒んだときの影響も異なる。誤案内を減らすために何でも回答拒否する仕組みは、顧客の業務を止めるかもしれない。どちらの失敗を避けたいかを業務責任者が定義し、評価結果を読む必要がある。すべてを一つの点数に換算する必然性はない。
評価対象の範囲が不足していれば、全社導入を保留しても、社内での候補作成までを認める選択は残る。保留の意味を「AIを使わない」に広げず、証拠の足りない出力先や権限を切り分けることが重要だ。
監査が見つけるのは、モデルの弱さだけではない
米国会計検査院GAOは2024年、国土安全保障省のサイバーセキュリティ向けAIを調べ、利用事例の台帳の正確性や、個人情報の自動検出に用いるデータの信頼性、役割・責任などの管理上の不足について勧告した。これは文書確認と担当者への聞き取りを含む個別監査であり、企業一般の事故発生率を調べた研究ではない。GAO「GAO-24-106246」
この事例を読む際には、当時の指摘と現在の改善状況も分けたい。同ページには、勧告を受けた改善の状況が追記されている。当時の不足を、その組織の現在の状態として扱うことはできない。
実務への示唆は、評価モデルの性能以前に「何をAIとして管理しているか」「どのデータを使ったか」が曖昧なら、審査の前提が崩れるという点にある。導入資料と実際の設定が異なれば、提出された精度が正しくても、そのまま本番の説明にはならない。
本稿の提案では、監査担当者は一つの出力について、利用したモデルや参照資料の版、実行時の権限、確認の記録まで追う。機密情報を際限なく保存することが目的ではない。必要な証跡と保持範囲を定め、判断を検証できる状態を作ることが目的である。
人を置けば安全、という承認にも穴がある
「最後は人が見る」と書かれた図だけで、確認が有効に働くとは言えない。確認者が元資料を見られない、処理量が多く読み切れない、修正を求めてもシステムを止められないのであれば、責任だけが人に残る。
一方、あらゆるAI出力に人の承認を挟むことも、公的指針の一律の要求ではない。NIST AI RMFの付録Cは、自律的な利用から人による判断支援まで多様な構成を挙げ、動画圧縮の改善など、人の監督を必要としない場合も示している。NIST「Human-AI Interaction」
したがって、本稿が重視するのは承認ボタンの数ではなく、用途に合う制御である。担当者確認を採るなら、誤りを見つける情報と時間、訂正権限を与える。低影響で修正可能な用途を自動処理するなら、異常の発見と復旧を確認する。人の確認と自動検査を組み合わせる方法もある。
同じAIでも、利用判断が逆転する場面
仮の販売会社で、AIが商品の説明文に検索用タグを提案するとする。対象の商品情報が限定され、誤分類を取り消せる。まず社内の検索補助として試し、検索不能や誤表示を点検するなら、用途を絞った利用を検討しやすい。
ここで同じ仕組みに「顧客ごとの返金可否を判定し、自動で返金する」権限を与えるとどうか。評価が商品説明の分類だけなら、契約の例外や金額、本人確認を扱う能力は示されていない。分類用途の承認を流用せず、自動返金は保留するのが本稿の判断案だ。担当者が確認するための情報整理に用途を限定する余地はある。
さらに、返金条件が明文化され、対象取引の確認、金額上限、例外の振り分け、訂正方法まで別途検証できたなら、その範囲で自動処理を再検討できる。変わったのはモデルの宣伝文句ではなく、業務全体として示せる証拠である。反対に検索タグでも、誤分類が重大な取引判断を直接左右する使われ方なら、初めの低影響という前提を見直す。
承認には、対象範囲と見直す契機を添える
利用判断を記録する際は、承認した用途、対象データ、出力先、認めた権限を明示する。運用開始後に用途を広げたり参照資料を変えたりする場合、どの変更なら再評価が必要かも定める。単に毎年同じ書類を更新するより、判断の前提が変わる時点を捉えるためだ。
不備が見つかった場合も、軽微な文書修正と、判断を支える証拠の欠落を分ける。表記の修正は期限を設けて改善できる場合がある。一方、重要な出力を止める権限がない、評価が実際の用途に対応していないといった欠落は、その用途の利用を保留する理由になる。
AI監査で残したい答えは、「正答率が高いから承認」でも「AIだから保留」でもない。この用途、この権限、この制御の範囲なら利用できる。範囲を越える利用は、追加の証拠がそろうまで認めない。 その線を説明できる審査に変えることで、導入を進める責任と止める責任を同じ判断に結び付けられる。