効果測定をする際に大事なこと

2021年11月19日

効果測定をする際に大事なこととして大きく以下2点について解説します。

目的・得たい効果は何か？
どのような方法で測定するか？

前者は、施策の目的・KPIに絡んできますが、「意識」「態度」「行動」のうちどの要素を変容させたいのか、具体的にどの指標を重視するのか、を検討します。後者は、よくある効果測定方法とその課題、シングルソースだからできるアプローチについて検討します。

目的・得たい効果は何か？

「意識」「態度」「行動」のうちどの要素を変容させるかを目的・得たい効果とするのか、を検討します。また、具体的な指標やデータの取得についても、主なものをいくつか例として整理してみます。

・意識変容

意識変容については、商品・サービスについて知ってもらう、興味を持ってもらう、理解を深めてもらうことを指します。これらは意識レベルのものですのでアンケート調査を用いることが多いです。

・態度変容

商品やサービスを買いたいと思ってもらう、好きになってもらう、愛着を持ってもらう、推奨したいと思ってもらうことを指します。意識変容よりもさらに進んだパーセプション（認識）です。これらも意識レベルのものですのでアンケート調査を用いることが多いです。

・行動変容

商品やサービスを購入・契約してもらうこと、店舗やサイトに訪れてもらうこと、資料請求・ダウンロードをしてもらうことなどの行動を指します。クーポンやキャッシュバックなどのキャンペーンでは購入商品数や購入回数を増やしてもらうといったケースもあります。これらは具体的な行動ですので購入履歴や来店履歴、接客履歴、Webログなどを用いることが多いです。

施策の目的に合わせてどの変容をもたらしたいのか、具体的にどの指標の効果測定をするのかを考えましょう。

どのような方法で測定するか？

次に効果測定方法についてご紹介します。前半ではよくある効果測定方法と用いる際の課題について、後半ではその課題に対してシングルソースのデータであれば可能になるアプローチについてです。

よくある効果測定方法とその課題

効果測定方法について様々な方法がありますが、ここでは3つの方法とその課題について解説します。

何らかのアクションを行った際の結果を効果とみなすケース

キャンペーン実施によって得られた結果を効果とするケースです。例えば、自動車会社で「30〜40代男性、既婚、子供あり、車関心層」にミニバンの新車訴求のためのデジタル広告を出稿し、100件の来店予約を得られたとします。この100件を成果とするのか？答えはNOです。そもそも車に関心があるのでデジタル広告がなくても半分の50件が来店予約となったかもしれません。仮にそうだとしたら50件分が成果です。

このように、真の効果を測定できないという課題があります。

何らかのアクションを行った際の介入有無での比較のケース

広告接触有無、メルマガ送付有無、クーポン配布有無などで比較するケースです。ビジネス上では「施策」ですが、計量経済学や因果推論では「介入」と呼ばれます。この介入有無で比較をする際、大きな問題点があります。介入対象に何らかの偏りが発生している可能性がある点です。

例えば、年間購買量が多いセグメントにメルマガやクーポンを配信しているケースや先程の「30〜40代男性、既婚、子供あり、車関心層」にミニバンの新車訴求のためのデジタル広告を出稿するケースです。前者であれば、年間の購買が多いセグメントにメルマガやクーポンが配信され（介入群）、少ないセグメント（非介入群）と比較することになります。後者であれば「30〜40代男性、既婚、子供あり、車関心層」が介入群、それ以外が非介入群です。

介入がなくても買う可能性を無視して介入有無の単純比較で得られた結果（差分）を効果と思い込んでしまうリスクがあります。

ABテストを用いるケース

理想的な検証方法は、同一人物・同一時点の介入有無での効果比較です。ですが、当然タイムマシンがないので不可能な検証方法となります。ですので、一般的に用いられているのがABテストです。RCT（Randomized Controlled Trial ; 無作為化比較試験）で行うことが望ましいとされます介入する対象をランダムに選択し、実験し、得られたデータを分析する。介入する対象をランダムに決めるので基本的には様々な諸条件含め同質のグループができる。そのグループから得られた結果同士を比較する方法です。

ただし、この方法も課題はあります。1点目は、1例目でも触れましたが、何もしなくても得られた効果があるはずでその部分が抜け落ちている点です。例えばシーズナリティに関する影響…ボーナス商戦、年末商戦なども該当します。商戦期前に比べれば売上が上向く可能性があるため、広告など施策をしなくても伸びる部分があります。

2点目は、ビジネス貢献を無視する点です。RCTを実施する場合、ランダムでグループ分けをするので、分析上は望ましい形になります。ですが、例えば先程のメルマガやクーポンの例でも購買量の多いセグメント全員に配信することで得られたはずの成果がRCTでは半減する可能性があるわけです。

人基点だからできるアプローチ

ここまでよくある効果測定方法と課題についてご紹介してきました。その内容を踏まえ、ご紹介するのがDID（Difference in Deifference ; 差分の差分法）です。介入有無それぞれについて施策前後の結果（例えば購入量など）を取得し、前後の差分を計算する（＝リフト値）。さらに介入有無でそのリフト値の差分を計算する（＝真の効果）。差分の差分を用いるのでDIDと呼びます。

施策前後のリフト値を得る＝季節性なども含めた伸びを見る、この時点では介入による効果以外の要因も含まれています。さらに介入有無それぞれのリフト値の差を取ることで純粋な介入分による効果を算出しています。

CDPを導入されている場合、会員マスタと施策履歴、購入履歴やWebログなどのデータを入れているケースが多いと思います。同一人物について施策前後のデータも揃えることができると思いますので、この方法も使えると思われます。もちろん、この方法も万能とは言えません。シングルソース（同一人物）で施策前後のKPIに関するデータを持っているという前提がないとできないからです。また、他の方法でも同様ですが他の要素が絡んだ効果になっているケースもある点など、この方法を使えば問題ないというわけではないので、目的や状況に応じて選んでいただければと思います。

まとめ

今回は効果測定の際に大事なこととして「目的・得たい効果」と「どのような方法で測定するのか」についてご紹介しました。「目的・得たい効果」については、施策プランニング時点で考える必要がありますが、「意識」「態度」「行動」のどの変容、具体的にどの指標をより良くしたいのかを明確にし、その指標の変化を測りましょう。「どのような方法で測定するのか」については、「真の効果」を測れるよう適切な手段を用いること、それぞれに課題があることをご理解いただければと思います。

最後までご覧いただきありがとうございました。また次の記事でお会いしましょう。