広告の効果はどう測る？ 広告経由の売上と増えた利益の違い
広告費を増やした月に売上が伸び、広告の管理画面にも購入がたくさん記録されている。担当者は成果を報告し、次の月はさらに予算を増やす。この判断が間違いだとは限りません。ただ、その購入のうち、広告がなくても起きたものはどれだけあったでしょうか。
広告を見た人は、そもそも商品を探していた人かもしれません。社名で検索して広告を押した人は、自然検索からでも訪問したかもしれません。予算判断で必要なのは、広告にひもづいた購入の総額だけではなく、広告がある場合と、ない場合の差が、追加の費用を上回るかです。
この記事の目次
検索広告の実験が示した、見かけの効果との距離
Blake、Nosko、Tadelisは、米国のeBayで検索広告の効果を調べる大規模なフィールド実験を行いました。2014年のワーキングペーパー、2015年の公刊論文として報告された研究です。広告のクリックと購買が相関するため、通常の観察的な推定では効果を大きく見積もり得ることを示しています。NBERの原資料
同研究では、ブランド名を使った検索広告に、測定できる短期便益は確認されませんでした。一方、ブランド名を含まない検索では、新規利用者や利用頻度の低い人への正の影響が見られ、頻繁な利用者と違いがありました。「広告は効かない」という一言では、この違いが消えてしまいます。
対象は知名度の高いeBayの、当時の米国の検索広告です。現在の日本の小規模企業、動画広告、新しい商品に、その結果をそのまま移すことはできません。また、短期の購買効果と、長期の認知や将来購入は同じ測定対象ではありません。
この研究から実務へ持ち帰りたいのは、特定の広告形式を一律に止めることではなく、広告接触者の購買を「広告で増えた購買」と決めつけないという区別です。既に強い関心がある顧客へ費用を使っているなら、管理画面の好成績と、費用を追加する価値がずれる可能性があります。
反対方向の結果もあります。CovielloらはEdmunds.comで類似の検索広告の停止実験を行い、広告を止めた際、広告経由だった流入の半分超が失われたと報告しました。eBayで自然流入へ置き換わった結果と同じではありません。CEPRの原抄録
両者は、サイトの知名度や利用目的、検索する人の行動が同じではありません。さらに、流入の減少は、そのまま売上や利益の減少額ではありません。この反証は「検索広告には必ず利益がある」と示すものではなく、eBayの結果だけで自社の広告を止められない理由になります。
自社の判断では、訪問を生む広告かどうかと、その訪問が提供費用を上回る価値を生むかを分けます。流入が戻らない対象であっても、成約や利益が伴わないなら、広告の出し方や受け皿を見直す余地があります。研究の賛否を数えるより、何を測った結果が違うのかを比較したいところです。
比較する相手を、前月だけにしない
広告を増やす前後の差には、季節、価格変更、在庫、営業活動、競合の動きも入ります。前年同月と比較しても、それらの条件が同じとは限りません。比較を増やすことと、広告だけの差を作ることは別です。
以下は編集上の提案です。可能なら、同じ時期の比較可能な対象に対して、広告の有無や強さを変える計画を作ります。割り当てを無作為にできれば、もともとの購買意欲などの違いが一方へ偏ることを抑えられます。ただし、小さな標本で完全にそろう保証や、どんな実施方法でも正しいという意味ではありません。
対象の単位も大切です。同じ人が広告ありと広告なしの両方へ入ったり、別の経路から同じ広告へ接触したりすると、差が薄まることがあります。地域で分けるなら、地域をまたいだ行動や地域固有の変化が比較を崩さないかを考えます。実験という名前を付けるだけでは、対照条件は成立しません。
事前に決めるのは、予算の大小だけでなく、対象、期間、広告以外の施策、主な指標、止める条件です。途中でよく見える指標へ乗り換えると、何を確かめたのかが分からなくなります。短期のクリックと、成約、継続、利益を同じ成果として扱わないようにします。
売上が増えても、広告を拡大しない方がよい例
仮想の比較で考えます。同じ人数の二つの群を用意し、一方に広告を出した結果、購入が120件、もう一方では100件だったとします。広告費を除く一件当たりの変動費を売上から差し引いた額（ここでは限界利益と呼ぶ）を3,000円とし、広告費が8万円だったと仮定します。
広告を出した群の購入をすべて効果にすれば、限界利益は36万円に見えます。しかし比較群との差は20件です。この差を使うと追加限界利益は6万円、そこから広告費8万円を引くと2万円のマイナスになります。ここではその他の追加費用をゼロと仮定した計算で、実在の実験結果ではありません。
もちろん、一回の観測差20件が、安定した広告効果だと確定したわけではありません。ばらつきが大きければ、拡大にも停止にも証拠が足りないことがあります。その場合、勝ったと宣言するより、損失を限定した範囲で情報を増やすか、測れる対象へ計画を変える方が合理的です。
条件を変え、同じ広告費と限界利益で、比較可能な差が40件あり、その差を支持する十分なデータが得られたなら、追加限界利益12万円から広告費を引いて4万円が残る計算になります。この条件では、拡大を検討する理由が生まれます。ただし、予算を増やしても同じ顧客層へ同じ単価で届くとは限らないので、小さい予算での結果を何倍にも伸ばして予測しないことが必要です。
この例の判断を分けるのは、広告経由の件数ではなく、比較で得た追加の限界利益です。利益の計算と、その差をどれほど確かに測れたかを、別々に評価します。
同じ購入120件を売上で表すとどうでしょうか。一購入当たり売上1万円を追加の仮定に置けば、広告群の売上は120万円、比較群100件との差は20万円です。ただし、この売上差から広告費を引くのではありません。採算には、変動費を差し引いた一件当たりの限界利益を使います。
一購入当たり3000円、広告費8万円の条件なら損益分岐は8万円÷3000円＝約26.67件、整数で27件以上の追加購入だ。人数が違う群は率をそろえる。120件／1000人と200件／2000人なら12％と10％であり、1000人にそろえた差は20件になる。差の不確実性や割当て条件は、この算術とは別に確認する。
全顧客の平均で、残すべき広告を消さない
eBayの研究で新規・低頻度の利用者と頻繁な利用者に違いがあったように、平均が小さくても、特定の対象には価値があるかもしれません。反対に、平均がよくても、既存顧客への費用がほとんど追加購買を生んでいない可能性があります。
ただし、結果を見た後に多数の顧客群へ分け、よい数字の群だけを選べば、偶然の差を拾う危険があります。対象を絞る仮説は先に置くか、探索で見つけた候補として別の比較で確認します。細かく分けるほど各群のデータが少なくなることも忘れられません。
目的が新規顧客の獲得なら、初回注文だけでなく、その後の継続と提供費用を見たいところです。一方、長期の結果がまだないのに、将来の大きな利益を足して赤字を正当化してはいけません。観測した収益と、将来への仮定を分けて、どの期間の判断なのかを示します。
大きな実験ができない会社は、何から始めるか
売上件数が少ない企業では、短期間で小さな差を検出できない場合があります。だからといって、クリックの増加を利益の証拠へ置き換えても問題は解消しません。どれだけの差なら予算判断が変わるかを先に考え、その差を測れる規模と期間かを確認します。
実施が難しければ、測定できない範囲を認めた上で、予算上限を持った試行として扱います。比較条件を整え、他の販促を同時に変え過ぎず、何が分かったら次の判断へ進むかを記録する。証拠が弱いことは、無制限に費用を出す理由にも、すべてを止める理由にもなりません。
広告の追加限界利益が費用を上回ることを、対象と期間に合った比較で支持できるなら拡大を検討する。追加効果が乏しい対象は配分を変え、差を測り切れていないなら限定した試行にとどめる。広告経由の売上を積み上げる報告から、広告が生んだ差を確かめる判断へ変えることが、予算を利益へ近づけます。