A/Bテストでクリックが増えても儲からない：採用前に見る成果と費用

新しいボタンに変えたら、クリック率が上がった。担当者は「テストで勝った」と報告し、全ページへ展開を提案する。しかし購入は増えていない。ボタンが目立っただけなのか、買う人が増える前触れなのか。さらに、説明が分かりにくくなり、問い合わせが増えていたらどうだろう。

A/Bテストの価値は、好みの議論を数字へ置き換えられることにある。だが、数字で比較したことと、事業にとってよい案を選んだことは同じではない。 テストの勝者を決める前に、「何に勝ったのか」を問う必要がある。本稿は、無作為に利用者などを分けて案を比較する実験を対象に、採用・保留・再設計を選ぶ考え方を示す。

クリックが増えても、売上が増えない実験はある

Microsoftの研究者が2017年に発表した指標解釈の落とし穴を扱う論文には、Xboxの販促で、画像や説明の変更によりクリックが増えても、売上の対応する増加が見られなかった例がある。別の例では、表示位置の変更でクリック率が下がっても、収益が増えた。

論文はMicrosoftの複数のサービスで得られた経験をまとめたものだ。各事例の利用者の国や実施時期がすべて明示されているわけではなく、日本の中小企業での再現率を推定する研究でもない。ただし、クリック率の上昇を事業成果の上昇と同一視できないことを示す、当事者による具体的な材料である。

クリック率は、クリック数を表示回数などで割った比率だ。分母も動けば、率の変化だけでは行動を説明できない。何を分母とするか、同じ人が何回数えられるかを明らかにし、率とともに元の件数を読む必要がある。これは「クリック率を使うな」という結論ではない。使い方の役割を限定する話だ。

差の確かさと、採用する価値を分ける

米国統計学会の2016年の声明は、p値や統計的有意性が、効果の大きさや結果の重要性を測るものではないと説明している。これは統計の解釈に関する声明で、特定のWebサイトの売上を検証した実験ではない。

この区別を採算へ戻すと、クリックが増えても追加費用を取り戻せない案には、採用の経済的な理由が乏しくなります。一方、売上に有意差がないことだけでは、変化がないとも決まりません。検出に必要な情報が足りない可能性が残るからです。

そのため、採否を判断する資料には、推定された差、その不確実性、導入や運用の追加費用を並べたい。実務上どれほどの差が必要かは、自社の費用と事業目的から定める。本稿が全国共通の「何％なら採用」という基準を置かないのは、控えめにしたいからではなく、同じ改善幅でも経済的な意味が変わるからだ。

採否、診断、悪化防止の数字を分ける

ここからは研究と実験原則を踏まえた編集上の提案である。テストの指標を、次の三つの役割に分ける。

採否のための指標は、事業で得たい成果を表す。販売サイトなら、返金や変動費を考慮した利用者当たりの利益を検討する。問い合わせ獲得なら、件数だけでなく、対応後に成立した案件の価値との関係を考える。目的が違えば、採否の指標も変わる。

診断のための指標は、結果が動いた理由を探る。ボタンのクリック、入力開始、入力完了、購入などを分け、どこで詰まったかを見る。入口の反応が上がったのに注文が増えないなら、導線の途中に問題があるかもしれない。ただし、この関係だけで原因まで確定はできない。

悪化を見逃さないための指標は、得たい成果と引き換えに失いたくないものを追う。読み込みの遅延、返金、問い合わせ、継続利用などだ。すべてを同じ重みで足して総合点にすると、重大な悪化を小さなクリック増で相殺しかねない。採否の前に、許容できない悪化を定める方が判断を説明しやすい。

仮想例：クリックの勝者が、利益では敗者になる

比較の仕方を、架空の販売サイトで考える。各案へ1,000人ずつ割り付けたと仮定し、A案は200人がクリックして20件購入、B案は300人がクリックして18件購入したとする。一件当たり、商品などの変動費を引いた利益は両案とも3,000円。B案だけ、案の変更に伴う追加の対応費用が3,000円発生したと置く。共通の固定費は比較から除く。

この仮定では、A案の利益は20×3,000＝60,000円、B案は18×3,000－3,000＝51,000円となる。クリックした人の割合は20％から30％へ上がるが、割り付けた人当たりの利益は60円から51円へ下がる。計算上、クリックだけを理由にB案を展開する判断には無理がある。

ただし、この表は研究結果でも、統計的に確定した差でもない。1,000人という数を、十分な標本数の基準として使ってはいけない。ここでは、架空の件数が確定値として与えられた場合の採算を示した。実際の実験では、購入数や利益のばらつきも含めて差を評価する必要がある。

条件を変え、B案の購入が25件になったとする。他の仮定を固定すれば、利益は25×3,000－3,000＝72,000円、割付利用者当たり72円となる。この場合はB案が採用候補へ逆転する。ただし、返品が後で増える、初回だけ反応がよい、といった条件があれば、短期の採算だけで全面展開とは決めない。同じクリック増でも、後続の成果によって選ぶ案は変わる。

採算が逆転する境界まで計算する

同じ仮定でB案の購入件数を変えると、21×3,000－3,000＝60,000円でA案と同額、22件なら63,000円でA案を上回る。21件は引き分け、22件以上が計算上の利益改善の条件になる。ただし、購入数が確定値という仮定内の境界であり、実験で22件を観測すれば真の効果まで確定するという基準ではない。

実際の採否では、A案の結果にもばらつきがあるので、両案の差と追加費用を同じ対象・期間で評価する。例えば、仮に見積もった利益差の幅が－6,000円～＋9,000円なら、損失も改善も残っている。これは説明用の仮定幅で、今回の架空件数から計算した信頼区間ではない。クリックの改善でこの不確実性を埋めず、事前の判定方法と許容損失に戻る。全面展開の採用判断を保留する案、損失を限定して次の検証を設計する案を区別し、追加の検証費用も比較する。

買った人だけを比べると、入口の影響が消える

B案で買った人の客単価が高いとしても、購入者だけを取り出すと、買うところまで進めなかった人が比較から落ちる。案が購入者の顔ぶれ自体を変えた場合、購入者同士の差は、割り付けた集団全体への効果とは違う。

編集上の提案として、採否の主要な比較は、実験前に定めた対象全体へ戻して読む。購入者だけの客単価や、ボタンを見た人だけの反応は、仕組みを理解するための補足にする。「購入後の満足度を知る」という別の問いには購入者調査も有用だが、それだけで非購入者を含む案の価値は決まらない。

この区別は、法人向けサイトでも重要になる。問い合わせが増えても、営業が対応できず、既存顧客への支援が遅れるなら、入口の成功が後工程の費用へ移っている。単に大きな表を作るのではなく、比較対象の境界を揃えることが要点だ。

測定の問題なら、指標を変えて勝者にしない

割付人数・記録欠落・表示失敗を確認し、壊れた比較を別の指標へ替えて勝者にしない。新画面でクリックの送信が失敗したなら、低い率は拒否の証拠にならない。Microsoftの実験開始前と実験中の監視の資料は、実験基盤の当事者による実務資料として読む。途中の停止規則は実験を止める判断へ分け、ここでは信頼できる比較から事業採否を決める。

小さなサイトは、何を決められないかも先に決める

取引数が少ないサイトでは、クリックの違いは見えても、利益や継続利用の差は絞れないことがある。この場合、クリックに勝ったから利益にも勝ったと読み替えない。無理に長く待てばよいわけでもなく、途中に市場や商品が大きく変われば、別の状況の利用者を積み重ねることになる。

選択肢は、検証したい差に見合う期間を取り直す、より大きな変更を検証する、利用者調査で問題を特定して次の案を作る、今回は事業成果の結論を保留する、といったものだ。調査で使いにくさが見つかっても、それ自体を利益増の証拠とはしない。異なる方法が答える問いを分ける。

測定が健全で、事業成果に費用を上回る改善を期待でき、重要な悪化が許容範囲に収まるなら採用する。クリックだけが改善した場合は原因を診断し、事業成果の判断を保留する。測定が壊れているなら実験を直す。 A/Bテストの勝者は、画面の中で最も押された案ではなく、事業の目的に対して採用する理由を説明できる案である。