GTMで自前のタグ出し分けABテストをしてみたら、通常CVRはほぼ変わらずCVが150%になった話

株式会社OPTEMOでマーケティングを担当しております竹田卓生です。

今回は、OPTEMOを提供している弊社が自社のWebサイトでABテストを実施し、「OPTEMOあり/なし」でCVRがどう変わるかを約半年かけて検証した結果をご紹介します。

「チャットツールを導入すると、既存の問い合わせフォームからのCVと食い合うのでは？」という疑問をお持ちの方に参考にしていただけると幸いです。

OPTEMOってどんなサービス？
この検証をしようと思った背景
どうやって実装しようか
実装方法（GTM × Cookie）
テスト期間中の状況
検証結果
検証を終えて

OPTEMOってどんなサービス？

まず簡単にOPTEMOについてご紹介します。

OPTEMOは、BtoBのWeb接客サービスです。

Webサイトの訪問者のうち、問い合わせフォームを使って連絡してくれる方はわずか1%程度と言われています。残りの99%は何らかの興味を持ってサイトを訪問しているにもかかわらず、接点を持てないまま離脱してしまっている状態です。

OPTEMOは、その99%にアプローチするためのサービスです。訪問者の閲覧状況をリアルタイムで把握し、温度感が高いタイミングでチャットや音声通話で声をかけることができます。フォームへの入力はハードルが高くても、チャットであれば気軽に質問できる体験を提供することで、新たなCVを生み出します。

このページの左下に表示されているチャットがまさにOPTEMOです。

この検証をしようと思った背景

今回ABテストを実施しようと思ったきっかけは、商談や既存のお客様との定例で繰り返しいただいていたある質問でした。

「OPTEMOを導入したとき、通常の問い合わせフォームからのCVと食い合いませんか？」

チャットで気軽に接触できるようになると、本来フォームから問い合わせしていたユーザーがチャットに流れてしまい、結果としてフォームCVが減るのではないか、という懸念です。「チャットを使う人が増えた分、フォームが減っているだけでは？」という見方もできます。

この質問に対して明確なデータを持って答えられていない状態が続いていたため、自社のWebサイトを使って検証することにしました。

ただし、この検証には一定のコストが伴います。50%のセッションでOPTEMOを意図的に非表示にするということは、本来OPTEMOで獲得できていたはずのCVを半年間抑制し続けることになります。それでも、データをもとにお客様の疑問に正確に答えられるようになることを優先し、実施を決断しました。

どうやって実装しようか

検証しようと決めてからまず検討したのが、「どうやって実装するか」でした。

ABテスト専用のSaaSはいくつか存在します。有名どころだとVWOやGoogle Optimize（現在はサービス終了）などが挙げられますが、検証目的で使うには月額コストがそれなりにかかります。今回はなるべくコストをかけずに自前で実装できないか検討しました。

そこで活用したのがGTM（Google Tag Manager）です。GTMは既に導入済みで追加コストもかかりません。「GTMでABテストを実装する方法」で調べたところ実装例がいくつか見つかり、ChatGPTに実装方法を確認しながら調整することで、エンジニアリソースを使わずに実装できました。

OPTEMOに限らず、Webタグを埋め込む系のサービスのABテストを検討している方には、GTMでの実装をおすすめします。専用ツールを導入せずにコストを抑えて検証できる方法として参考にしてみてください。

実装方法（GTM × Cookie）

実装はGTMを使い、Cookieでユーザーをグループに振り分ける方法を取りました。

仕組みは以下の流れです。

サイトにアクセスしたタイミングでCookieの有無を確認する
Cookieがなければ乱数で「A（OPTEMOあり）」か「B（OPTEMOなし）」をランダムに決定する
グループ情報をCookieに保存する（有効期限30分）
AグループはOPTEMOのタグが発火してチャットが表示される、BグループはOPTEMOのタグが発火しない

GTMのカスタムHTMLタグでこのロジックを記述し、グループに応じて Atag / Btag というイベントをdataLayerに送信することで、Google Analyticsでもグループ別の計測ができるようにしています。

実際に使用したコードは以下の通りです。GTMのカスタムHTMLタグに貼り付け、トリガーは「All Pages（全ページ）」に設定することで、すべてのページでA/Bグループの振り分けが動作するようにしています。

<script>
  function setCookie(name, value, minutes) {
    var expires = "";
    if (minutes) {
      var date = new Date();
      date.setTime(date.getTime() + (minutes * 60 * 1000));
      expires = "; expires=" + date.toUTCString();
    }
    document.cookie = name + "=" + (value || "") + expires + "; path=/";
  }

  function getCookie(name) {
    var nameEQ = name + "=";
    var ca = document.cookie.split(';');
    for(var i=0;i < ca.length;i++) {
      var c = ca[i];
      while (c.charAt(0)==' ') c = c.substring(1,c.length);
      if (c.indexOf(nameEQ) == 0) return c.substring(nameEQ.length,c.length);
    }
    return null;
  }

  var abGroup = getCookie('abTestGroup');

  if (!abGroup) {
    // 乱数でA/B決定
    abGroup = Math.random() < 0.5 ? 'A' : 'B';
    // セッションと同程度（30分）のCookieに保存
    setCookie('abTestGroup', abGroup, 30);
  }

  // イベントを送信
  window.dataLayer = window.dataLayer || [];
  if (abGroup === 'A') {
    dataLayer.push({ event: 'Atag' });
  } else {
    dataLayer.push({ event: 'Btag' });
  }
</script>

OPTEMOのタグ（AグループのみOPTEMOタグを発火させるタグ）のトリガーも同様に「All Pages」に設定します。これにより、全ページでCookieの値を参照し、Aグループと判定されたセッションにのみOPTEMOが表示される仕組みになっています。

当初はCookieではなくセッションストレージを使って実装していましたが、途中で問題に気づきました。セッションストレージはタブごとに独立して管理されるため、同じユーザーが別のタブでサイトを開いた場合に割り当てが引き継がれません。「Bグループ（OPTEMOなし）に振り分けられたはずのユーザーが、新しいタブで開くとOPTEMOが表示されてしまう」という状態になってしまいます。

Cookieベースに切り替えることでユーザー単位で一貫したグループ割り当てができるようになり、正確な計測が可能になりました。

なお、GTMにはタグの「一時停止」機能があるため、テスト終了後はABテスト用のタグを停止するだけで元の状態に戻せます。長期間のテストでも運用しやすい点はメリットの一つです。

テスト期間中の状況

テストは約半年間実施しました。

テスト期間中は、OPTEMOチャット経由の問い合わせが通常より少ない状態が続きました。50%のセッションにOPTEMOが表示されていないため、当然の結果ではあります。

また、商談中にお客様へ自社サイトのOPTEMOの動きをご説明しようとした際、OPTEMOが表示されないケースもありました。該当のお客様が「Bグループ（OPTEMOなし）」に振り分けられていたことが原因で、ABテストの実施を説明した上で対応しました。

こうした運用上の制約はありましたが、「正確なデータを取得し、お客様の疑問に数字で答えられるようにする」という目的のもと、半年間継続して実施しました。

検証結果

約半年間で、合計38,119セッション分のデータが集まりました。

	OPTEMOなし	OPTEMOあり
セッション数	19,200	18,919
資料請求数（フォーム経由）	73件	72件
通常CVR	0.3802%	0.3806%
OPTEMOチャット経由での獲得	0件	36件
合計CV数	73件	108件
合計CVR	0.380%	0.571%

CVR向上率：150%

まず注目すべき点は、通常CVR（フォームからの資料請求）です。OPTEMOなし群が0.3802%に対し、OPTEMOあり群は0.3806%。両者はほぼ同一の数値です。

つまり、OPTEMOを導入してもフォームからの問い合わせは減少しなかったということです。懸念されていた「食い合い」は発生していませんでした。

その上でOPTEMOが36件のCVを上乗せで獲得した結果、合計CVRは0.571%となり、なし群と比較すると150%のCVR向上という結果になりました。

この結果から言えることは、「OPTEMOはフォームCVを奪っているのではなく、フォームでは接点を持てなかった層にアプローチできている」ということです。問い合わせフォームに記入するほどの温度感はまだないが、気になっていることはある。そういったユーザーとチャットで接点を持てていたことが、データとして確認できた形になりました。