カスタマーエンゲージメントチームの高見 翔です。
今回は機械学習をGUIで操作できるPredictive Scoring機能に関して、活用アイデアや事例にフォーカスしつつ、機械学習を活用していくにあたって考慮いただきたい重要要素をお伝えできればと思います。操作方法に関しては、こちらの記事をご覧ください。
Predictive Scoringについて
非エンジニアの方でも運用が可能になるよう、GUIによる操作で機械学習の一連のプロセスをワンストップで実現できる機能です。
- 「教師データ」と「予測したい対象データ」の2つをセグメント抽出し、予測モデルに投入するのみ
- 予測モデルからは、対象毎に100点満点で「予測スコア」が自動抽出され、ABCDランクの4段階でも分類可能
- 対象ごとのランク/スコアの軸で抽出したセグメントは、コネクターを介してマーケティングツールに連携可能
- 生成した予測モデルは、根拠となる「特徴量」がCDP上に開示され、変数のチューニングも簡単な操作で行える
活用アイデア
事例の前に機械学習を使っての施策アイデア例をいくつか挙げておきます。
- 商品購入や成約といったコンバージョン、広告クリック等、アクションへの期待値をスコアリング
1.期待値の高いユーザーにのみ施策実行することで広告費用を効率化する
2.ユーザー毎に反応しやすい訴求軸・チャネルを選択することで通知ブロックや好意度低下を回避する - 月額サービスモデル等での解約可能性をスコアリング
1.解約確率の高いユーザーにフォローやプロモーションを実施することで満足度を向上、解約を未然に防止する
2.解約ユーザーの傾向を把握し、サービスそのものの改善にフィードバックする
事例〜スコアリングで抽出したセグメントへのプロモーション配信〜
広告配信における活用事例をご紹介させていただきます。配信対象をスコアリング結果から期待値の高いユーザーに絞ることで、獲得効率の大幅な改善につながった事例です。
※配信数含めた実数値は丸めておりますが、改善率は実績ママです。
- プロモーション対象となるユーザーへのランダム配信
- Predictive Scoringで期待値スコア0.6以上のユーザー
に対して、それぞれ同じ訴求をした際の結果比較になります。配信対象の前提として、自社サービス会員になります。ランダム配信も全くの新規ユーザーに広告ブロード配信をしたわけではないので、かなり大きな差があることがわかっていただけるかと思います。右の図はPredictive Scoringで付与した期待値スコア毎のCVRとCTRになっており、右肩上がりに反応率が上がっていることがスコアリングの精度の高さを示しています。（スコアが1に近いほど期待値が高いと想定）
機械学習において注意すべき要素
機械学習を活用していく上で重要なことは、モデルはトレンドの変化等の理由により、時間の経過とともに性能が劣化・陳腐化する。ということです。
上記は、施策を実施する直前に用意したモデルと、その一ヶ月前に作成していたモデルの結果を比較したものです。
- 直前に用意したモデルでは、予測スコアが高いユーザー群ほど実際のCVRも高い状態（理想の右肩上がりの形）
- 一ヶ月前に作成していたモデルでは、予測スコアが中位で高い凸凹状態（想定値と違う反応結果）
再学習の重要性
精度の良いモデルでもずっと使い続けることはできないという結果になりました。“モデルの作り込み”はもちろん結果に関わるに重要要素ですが、“陳腐化させない”ことも同じくらい重要になります。外部の機械学習ツールと連携させる選択肢もある中で、Predictive Scoringを使っていただきたい理由がここにあると個人的には考えています。
- データの鮮度 ：Treasure Dataに入ってきているデータを使える
- 再学習、予測の頻度：Work flowのスケジュール実行により毎日更新
- 施策ツールへの連携：スコアリング結果から任意のユーザー群を容易に連携可能
まとめ
今回はPredictive Scoringの活用事例とともに機械学習活用において、考慮いただきたい要素について記載しました。デモ画面も交えてのご紹介も可能ですので、興味がございましたら、担当のカスタマーサクセス、またはサポートまでお問い合わせください。
