A/Bテストはいつ終了する？ 好結果・安全上の中止・判定不能の区別

新しい申込み画面を試したところ、月曜には差がなく、水曜には改善が見えた。「良い結果が出たので、今日で終了しよう」。展開を急ぐ会議では自然に聞こえる。しかし、悪い結果の日には続け、良い結果の日だけ止めるなら、最初に決めた統計的な判定と違うことをしている可能性がある。

途中で結果を見ること自体が禁止なのではない。問題は、途中で止める設計になっているか、何のために止めるかである。固定した標本数で判定する試験と、途中判定を組み込んだ試験を分ける。障害から利用者を守る停止と、「改善を確認した」と結論づける停止も、別の判断として扱いたい。

予定を変えると、数字の意味も変わる

Johariらの論文は、通常の固定標本の検定を、結果を見ながら終了時点を選ぶ状況へそのまま使う問題を扱う。同時に、逐次的な検定に対応したp値や信頼区間の構成を示す。ここで引用するのは公開著者稿で、数理的な方法論の研究である。日本の特定業種で画面変更の売上効果を実証したものではない。Johariら「Always Valid Inference」公開著者稿

実務では、分析画面に「有意」と表示されたことだけで、途中終了が許されるとは分からない。利用している方式、途中判定への対応、主要指標、比較する案の数を確認する。ツール名に「AI」や「ベイズ」とあるだけで、この確認を省く理由にはならない。

ここからの編集上の提案は、開始前の試験計画に「いつ数字を見るか」だけでなく「何が起きたら何を決めるか」を書くことである。固定した計画なら、その計画の下で最終判定する。途中終了を必要とするなら、それに合う分析方法と運用を先に整える。後から都合のよい方法へ替えた結果を、当初の確認と同じ強さで扱わない。

見る回数が増える影響を、単純な仮定で確かめます。差がない状態で誤検出率5％の独立した検定を10回行えば、少なくとも一回の誤検出は1−0.95の10乗＝約40.1％です。ただし、同じ試験の途中集計は互いに依存しているため、この値をそのまま使えません。固定標本の終了、逐次方式の停止規則、安全上の中止を分けて記録します。採算の指標は事業指標の記事で別に扱います。 A/Bテストの事業指標

危険な試験は、予定日を待たず止めてよい

Microsoftの実験運用資料は、試験中の品質監視や、利用体験を著しく損なう変更の停止を説明している。一方で、反復して数値を見る際には、早期の覗き見や多重検定を統計的方法で考慮する必要も述べる。安全監視と推測の正確さは、両立させる課題である。Microsoft「During-Experiment Stage」

たとえば、申込みを完了できない不具合が確認されたなら、被害を続けて標本を集める必要はない。ただし、その停止を「新しい画面は売上を何割下げると確定した」とは説明しない。操作上の障害が見つかったことと、正常に動く画面同士の効果を推定したことは異なる。

会議の記録でも、「安全のため中止」「計測不備で判定不能」「事前の基準で改善を確認」を区別する。この区別がないと、中止した試験がすべて失敗例に入り、機能の優劣と実装品質が混ざってしまう。次に再試験する理由も分からなくなる。

良い差の前に、比較する相手が残っているか

もう一つの落とし穴は、データの欠落である。Microsoftは、予定した割当比率と集計された人数の比率が整合しない「Sample Ratio Mismatch」を、割当・実行・ログ処理などの不備を示す兆候として扱っている。差が出た指標を読む前に、比較の土台を調べる必要がある。Microsoft「Diagnosing Sample Ratio Mismatch」

新画面で離脱した人だけがログに残らなければ、残った人の申込み率は良く見えるかもしれない。これは改善ではなく、分母が変わった結果の可能性がある。人数の見た目だけで判断せず、設計した割当と記録の経路を確かめる。逆に、割当比率に問題がないことだけで、すべての計測が正しいとも言えない。

読者が事業責任者なら、統計式を暗記するより、「誰を一件と数え、途中で誰が消え得るか」を担当者に説明してもらうとよい。人単位で割り当てた試験なのに、ページ表示を独立した人のように集計すれば、また別の問題になる。比較単位と業務上の意思決定単位を揃えることが先だ。

小さな改善でも、採用する理由はあるか

統計的に差を区別できても、採用する価値があるとは限らない。利用者が多ければ、わずかな差を検出できることがある。新画面の保守負担、問い合わせ対応、別の重要な動作への影響まで含めると、変更を見送る判断もあり得る。

ここで使う業務上の基準は、研究から出た万能な値ではなく、事業側が費用と便益に照らして決めるものだ。「有意だったから採用」ではなく、想定する改善の大きさ、不確実性、運用上の負担を同じ資料に置く。結果を見てから採用基準を緩めたなら、その変更も隠さない。

短期間の申込み率を測った試験から、年間の継続利用まで確定したように語ることも避ける。期間内に観測できた指標と、後で確かめる指標を分ける。早く決めることが重要でも、まだ観測していない便益まで足す必要はない。

水曜の好結果を、どう扱い分けるか

以下は仮想例である。法人向けサービスが、平日と休日を含む事前の計画で申込み画面を比較している。水曜の途中集計は良好だが、固定標本の方式を使っており、途中終了の条件を設計していない。安全上の問題もない。この場合は、水曜の数値を正式な勝利宣言に使わず、計画どおりの確認を続ける。

同じ画面でも、事前に選んだ逐次的な方法があり、その前提を満たして終了条件へ到達したなら、途中終了を検討できる。だからといって、週末の利用や継続率を測ったことにはならない。展開の範囲は、今回確認できた利用条件に合わせる。

一方、新画面で特定の利用者が送信できないなら、終了条件への到達を待たず止める。修正後に比較をやり直すかは、欠落したデータと変更の範囲を見て決める。都合の悪い日だけを除いた結果を完成版にしない。この三つは同じ「終了」でも、主張できる内容が違う。

別の統計方式でも、都合のよい期間を選べるわけではない

Dengらの2016年の公開論文は、適切な停止規則の下で、ベイズ検定を継続的に観測する方法を論じている。これは「途中で止める方法は存在しない」という説明への反証になる。一方で、利用可能な観測のうち都合のよい部分だけを選ぶなど、定理の対象にならない運用も区別している。Dengら「Continuous Monitoring of A/B Tests without Pain」

したがって、固定した方法で結論が出なかった後に、過去の途中集計へ戻って良かった日を選ぶことは、事前に逐次的な方法で運用することと同じではない。方法の名称を変えても、判断の経緯は消えない。再分析で新たな仮説が見つかったなら、それを次の試験で確かめる候補として残す。

効果がはっきりしない場合も、変更に意味がないと断定する必要はない。業務上重要な差を見分けるだけの情報が集まったのかを点検し、集まらないなら測れる問いへ絞るか、効果未確定の限定的な判断として扱う。証拠の不足を、有効性の証明にも無効性の証明にも変えない。

次の試験にも残る記録にする

終了時には、開始時の仮説、主要な判断指標、割当と集計の単位、実際の停止理由、未観測の影響を短く残す。大量のグラフより、この対応関係が次の担当者の判断に役立つ。途中で問いが変わった試験は、探索として学べたことを残し、確認済みの結論と区別する。

「良い数字が出たら止める」は、それだけでは試験の設計ではない。改善の確認には対応する判定方法を使い、安全の確保には別の停止条件を置く。速度を得る方法は、都合のよい瞬間を選ぶことではなく、早く決めても意味が崩れない終了条件を準備することだ。