メインコンテンツまでスキップ

プッシュのテスト

最終更新 2026/10/02

1.A/Bテストとは​

A/Bテストは、2つ以上の異なる施策、デザイン、変更を比較するテスト手法で、どの施策がユーザーやビジネスにより大きな影響を与えるかを判断するために使用します。A/Bテストを使うと、どのテストグループがより良いユーザーの反応、より高いコンバージョン率、より良い業績を得られるかを判断できます。

A/Bテストでは、テスト対象がランダムに2つ（または複数）のグループに分けられ、そのうち1つがコントロールグループ、残りがテストグループになります。コントロールグループは現在の施策やデザインを使用し、テストグループは変更後の施策やデザインを使用します。両グループのユーザーは、同じ期間に異なるバージョンの体験をします。

2つのグループ間でユーザーの反応、行動、ビジネス指標を比較することで、どちらのバージョンが優れているかを判断できます。このテスト手法は、プッシュの文言の違い、ゲームのギフトパックの価格の違い、ユーザーへのリーチ方法や機能の変更など、さまざまな変更の検証に使用できます。

A/Bテストの目的は、実際のデータとユーザーの反応に基づいて意思決定を行うことです。テストと最適化を継続的に繰り返すことで、ユーザー体験を徐々に改善し、コンバージョン率を高め、ビジネスの収益を増やすことができます。

2.機能の概要​

AEのエンゲージモジュールでは、プッシュ内容のA/B Testに対応しています。同じエンゲージタスク内で複数のコンテンツを設定して効果を比較テストすることで、運用担当者が最適な施策を科学的に判断し、目標のコンバージョン効果を高められるよう支援します。

3.機能の使い方​

3.1 A/Bテストを有効にする​

エンゲージタスクモジュールで + タスクを作成 をクリックし、エンゲージタスクの作成画面に入ります

プッシュ構成で【A/Bテストを有効】ボタンをクリックすると、そのエンゲージタスクでテストの設定が有効になります。

3.2 テストの種類を選択する​

トリガー型エンゲージタスクでは、スプリットテストと勝者総取りテストのどちらのA/Bテストタイプも選択できます。その他のプッシュタイプ（手動、時間指定-一回、時間指定-繰返し）のタスクでは、スプリットテストのみ実施できます。

3.2.1 スプリットテスト​

  • 対象ユーザーの条件を満たすユーザーを、サンプリングとグループの比率に従ってランダムに複数のテストグループに割り当て、複数の案を同時にプッシュして比較し、案の効果を検証します。
  • スプリットテストは、グループごとにプッシュ施策の効果を比較する場合に適しています。その後の全ユーザーへのフルプッシュには対応していません。

3.2.2 勝者総取りテスト​

現在、勝者総取りテストに対応しているのはトリガー型エンゲージタスクのみです。

  • 正式な案をプッシュする前に、テストグループで小規模に複数の案をテストし、テストで最適な案が得られた後、対象ユーザーにフルプッシュします。
  • 勝者総取りテストは、テスト後に全ユーザーへのフルプッシュが必要な場合に適しています。
  • 勝者総取りテストでは、テスト開始前とテスト期間中に自動フルプッシュの施策を設定できます。テストで勝者グループが決まった後、勝者グループのコンテンツ施策を簡単にフルプッシュできます。

3.3 スプリットテストの設定​

  • テストサンプリング比率

A/Bテストを有効にすると、テストのサンプリング比率を手動で設定できます。つまり、対象ユーザーから一定の割合のユーザーをランダムに抽出してA/Bテストに参加させ、その他のユーザーにはリーチしません。

サンプリングの割合には（0，100] の整数値を指定できます。スライダーをドラッグするか、数値を入力して設定します。

  • 実行時間

スプリットテストの実行時間はタスク実行期間と同じで、テストはプッシュタスクと同時に進行します。

  • テストの優勝指標

今回のA/Bテストの優勝指標も設定できます。現在、そのエンゲージタスクの「メイン目標と一致」または「クリック率」を選択できます。「クリック率」を使うには、事前にチャンネル管理で対象チャネルのリーチファネル設定に「プッシュクリック」イベントを設定しておく必要があります。

  • 有効イベント

優勝指標は、デフォルトではプッシュに成功したユーザーに基づいて計算されます。実際の利用シーンでは、プッシュの成功からテストの露出までの間に、ある程度のトラフィックの損失が発生することがあります。このような場合は、有効イベントを追加できます。追加すると、システムは「プッシュに成功し、かつ有効イベントを完了した」ユーザーをテストの対象ユーザーとして扱い、各テスト指標の間に有意な差があるかどうかを分析します。

  • テストのグループ設定

上記の設定が完了したら、プッシュ内容でコントロールグループとテストグループの内容を設定する必要があります。

コントロールグループは現在の施策やデザインを使用し、テストグループは変更後の施策やデザインを使用します。両グループのユーザーは、同じ期間に異なるバージョンの体験をします。

  • コントロールグループ

各A/Bテストには、デフォルトで1つのコントロールグループがあります。コントロールグループでは、ユーザーにリーチするかどうかを選択できます。

ユーザーにリーチする場合、コントロールグループの役割はテストグループと同じになり、同じ時間帯に異なるリーチ内容に対するユーザーの反応を観察できます。

ユーザーにリーチしない場合は、ユーザーに対するエンゲージ施策が有効かどうかの評価に使用できます。ユーザーにリーチしたテストグループで、コントロールグループに比べて目標コンバージョンが明らかに向上したかどうかを観察できます。

  • テストグループ

テストグループは最大4つまで設定できます。右側の小さな歯車アイコンをクリックするとテストグループを設定でき、テストグループの追加や削除、テストグループ名のカスタマイズができます。また、スライダーをドラッグしてテストグループのトラフィックを配分することもできます。システムは、対象として絞り込んだユーザー、テストのサンプリング比率、テストグループのトラフィック配分比率に基づいて、各テストグループのリーチ人数を推定します。

3.4 勝者総取りテストの設定​

  • テストサンプリング比率

A/Bテストを有効にすると、テストのサンプリング比率、つまり段階的リリースのサンプリング比率を手動で設定できます。これは、対象ユーザーから一定の割合のユーザーをランダムに抽出してA/Bテストを行い、その他のユーザーにはリーチしないというものです。

サンプリングの割合には（0，100] の整数値を指定できます。スライダーをドラッグするか、数値を入力して設定します。

  • 実行時間

勝者総取りテストは、通常、エンゲージタスクの期間全体の前半に行います。

勝者総取りテストはエンゲージタスクの期間と同時に開始されます。テストの終了時間はユーザーが設定する必要があり、エンゲージタスクの終了時間より後にすることはできません。勝者総取りテストが終了して勝者のテストグループが決まると、残りのタスク期間で勝者の施策を使って全ユーザーにフルプッシュできます。

  • テストの優勝指標

今回のA/Bテストの優勝指標も設定できます。現在、そのエンゲージタスクの「メイン目標と一致」または「クリック率」を選択できます。「クリック率」を使うには、事前にチャンネル管理で対象チャネルのリーチファネル設定に「プッシュクリック」イベントを設定しておく必要があります。

  • テストのグループ設定

上記の設定が完了したら、プッシュ内容でコントロールグループとテストグループの内容を設定する必要があります。

コントロールグループは現在の施策やデザインを使用し、テストグループは変更後の施策やデザインを使用します。両グループのユーザーは、同じ期間に異なるバージョンの体験をします。

  • コントロールグループ

各A/Bテストには、デフォルトで1つのコントロールグループがあります。コントロールグループでは、ユーザーにリーチするかどうかを選択できます。

ユーザーにリーチする場合、コントロールグループの役割はテストグループと同じになり、同じ時間帯に異なるリーチ内容に対するユーザーの反応を観察できます。

ユーザーにリーチしない場合は、ユーザーに対するエンゲージ施策が有効かどうかの評価に使用できます。ユーザーにリーチしたテストグループで、コントロールグループに比べて目標コンバージョンが明らかに向上したかどうかを観察できます。

  • テストグループ

テストグループは最大4つまで設定できます。右側の小さな歯車アイコンをクリックするとテストグループを設定でき、テストグループの追加や削除、テストグループ名のカスタマイズができます。また、スライダーをドラッグしてテストグループのトラフィックを配分することもできます。システムは、対象として絞り込んだユーザー、テストのサンプリング比率、テストグループのトラフィック配分比率に基づいて、各テストグループのリーチ人数を推定します。

  • フルプッシュ内容を自動選択

フルプッシュ内容を自動選択のスイッチをオンにして、フルプッシュするテストグループを選択できます。設定しておくと、勝者総取りテストの終了時に最も成績の良い（勝者の）テストグループがあれば、自動的に勝者グループの施策でフルプッシュされます。勝者グループがない場合は、ユーザーが選択した代替施策のグループでフルプッシュされます。

もちろん、フルプッシュ内容を自動選択のスイッチをオンにしていない場合でも、テスト終了後に【テストレポート】ページで手動プッシュを選択できます。

4.テストのステータス​

説明：【エンゲージタスクのステータス】は【A/Bテストのステータス】の親ステータスです。エンゲージタスクのステータスはテストのステータスに影響します。たとえば、エンゲージタスクが一時停止するとテストも一時停止し、エンゲージタスクが終了するとテストも終了します。

  • エンゲージタスクのステータスには、「下書き」「承認処理中」「実行中」「一時停止中」「終了」「拒否済み」があります

  • テストのステータス：そのA/Bテストの現在の状態を表します。すべてのステータスは次のとおりです

    • テスト未開始：エンゲージタスクが終了していない状態で、まだ一度もプッシュされていないテスト
    • 実験取消：エンゲージタスクが「終了」状態になった時点で、一度もプッシュされないまま終了したテスト
    • テスト中：エンゲージタスクが「実行中」で、テストが目標コンバージョンのウィンドウ期間内にあるテスト
    • テスト一時停止：エンゲージタスクが「一時停止中」の状態になると、テストも同時に「テスト一時停止」状態になります
    • データ回収中：エンゲージタスクは「終了」状態だが、まだ目標コンバージョンのウィンドウ期間が終わっておらず、データの集計が続いているテスト
    • レポート完了：エンゲージタスクが「終了」状態で、テストが目標コンバージョンのウィンドウ期間に達し、テストレポートが完成して、テストが正式に終了した状態。

  • なお、「勝者総取りテスト」でテスト終了後の自動フルプッシュ施策をオンにしている場合は、テストの期間が終了するとフルプッシュが開始されます。手動プッシュの施策を選択している場合は、テストの期間が終了すると、テストは【フルプッシュ操作待ち】状態になります。

5.テストレポート​

A/Bテストのレポートモジュールでは、コントロールグループと各テストグループの結果データを視覚的に比較できます。正確な統計値から優勝したテストグループを判断できるだけでなく、テスト全体を通じたデータの変化傾向を動的に観察することもできます。

5.1 レポートの入口​

A/Bテストを有効にしたエンゲージタスクでは、エンゲージタスクの詳細ページの【テストレポート】タブで、A/Bテストの結果データを確認できます。

5.2 レポートの説明​

5.2.1 基本情報​

スプリットテストと勝者総取りテストの基本情報のレイアウトは同じです。

テストレポートの基本情報には、テストタイプ、テストサイクル、テストのステータス、テストの優勝指標、テストのプッシュ成功人数、テストグループ数が含まれます。

  • テストタイプ：そのA/Bテストのタイプ。スプリットテストまたは勝者総取りテストです

  • テストサイクル：テストの開始からレポート完了までの期間

    • デフォルトの開始日時：テストの開始時間
    • デフォルトの終了日時：当日。最大でレポートの完了時間まで選択できます
    • 時間フィルターはテストレポート全体に適用され、テストグループのデータ、優勝の判定、折れ線グラフの変化率に連動して影響します。
    • テストサイクルは最大90日を超えることはできません

  • テストのステータス：そのA/Bテストの現在の状態を表します。詳しくはテストのステータスの説明を参照してください

  • 優勝指標：そのテストで勝者グループを判断するための主要な指標

  • プッシュ成功人数：そのA/Bテストのすべてのテストグループで、プッシュに成功した人数の合計

  • テストグループ数：そのA/Bテストにおけるコントロールグループとテストグループの合計数

5.2.2 テストの統計結果​

  • プッシュ成功人数：各テストグループでプッシュに成功した人数
  • 有効ユーザー数（有効イベントを追加した場合）：プッシュに成功し、優勝指標のウィンドウ期間内に有効イベントを完了した人数（有効イベントを追加すると、指標の達成人数/指標達成率は有効ユーザー数を基準に集計されます）。
  • 達成人数：プッシュ成功（または有効）人数のうち、「優勝指標」のコンバージョンを完了した人数
  • 指標達成率：達成人数/プッシュ成功（または有効）人数
  • 指標向上率：テストグループの指標がコントロールグループの指標と比べて向上または低下した変化率
  • テストの優勝判定ルール

テストでは「向上率」の高さでテストグループの優劣を判定します。向上率とは、テストグループの指標がコントロールグループの指標と比べて向上または低下した変化率で、向上率が最も高いテストグループが勝者グループになります。コントロールグループと比べて指標達成率を明らかに高められるテストグループがない場合、そのテストに勝者のテストグループはありません。

  • 向上率の信頼区間：ここでいう信頼区間とは、指標向上率の真の値が含まれうる区間の範囲で、有意水準5%の両側検定を採用しています

具体的な計算ロジック：

  • テストグループの指標：M(实验)、テストグループのサンプルサイズ：U(实验)
  • コントロールグループの指標：M(对照)、コントロールグループのサンプルサイズ：U(对照)

まず、テストグループとコントロールグループのサンプルの標準偏差をそれぞれ求めます。比率型の指標のため、標準偏差は次のとおりです

σ(实验)=M(实验)∗(1−M(实验))U(实验){σ(实验)} = \sqrt{M(实验)*(1-M(实验))\over U(实验)} σ(对照)=M(对照)∗(1−M(对照))U(对照){σ(对照)} = \sqrt{M(对照)*(1-M(对照))\over U(对照)}

向上値とliftを計算します：

提升值=M(实验)M(对照)−1提升值 = {M(实验) \over M(对照)} - 1 σ(lift)=M(实验)M(对照)∗(σ(实验)M(实验))2+(σ(对照)M(对照))2{σ(lift)} = {M(实验) \over M(对照)}* \sqrt{(\frac{{σ(实验)}}{M(实验)})^2 +(\frac{{σ(对照)}}{M(对照)})^2}

上記の計算結果から、次のようになります：

置信区间上限=提升值+1.96∗σ(lift)置信区间上限 = 提升值 + 1.96*{σ(lift)} 置信区间下限=提升值−1.96∗σ(lift)置信区间下限 = 提升值 - 1.96*{σ(lift)}

ここで1.96は変数で、信頼度に応じて換算されます。デフォルトは95%の信頼度です

  • 結論

    • テストグループの向上率（%）の信頼区間の下限が負、上限が正の場合：有意な変化なし
    • テストグループの向上率（%）の信頼区間の下限が正、上限が正の場合：有意に向上
    • テストグループの向上率（%）の信頼区間の下限が負、上限が負の場合：有意に低下
  • 操作
  1. テストグループごとの具体的なプッシュ内容を確認できます
  2. テストレポートで勝者グループが出た場合は、テストグループの後ろにあるコピーボタンから、全ユーザーにプッシュするための新しいエンゲージタスクを直接作成できます。

データの詳細では、バッチ単位で各テストグループのプッシュ詳細と目標の達成状況を確認できます

また、「日 単位」で指標達成率の推移グラフを確認することもできます

5.2.4 勝者総取りテストのフルプッシュ設定​

勝者総取りテストのタスク設定で【フルプッシュ内容を自動選択】スイッチをオンにしているかどうかによって、テスト終了後のフルプッシュの方法が変わります。

  1. フルプッシュ施策の調整

テストが【テスト終了】（データ回収/レポート完了）状態になる前であれば、いつでも施策調整で、最終的にフルプッシュするテストグループを変更できます。

Tip：終了したテストではフルプッシュ施策を調整できません。

勝者総取りテストの終了前
勝者総取りテストの終了前
  1. 自動フルプッシュ

【フルプッシュ内容を自動選択】スイッチをオンにしている場合、勝者総取りテストの終了後、ユーザーが設定した施策に従って全ユーザーへのフルプッシュが自動的に行われます。

勝者総取りテストの終了後
  1. 手動プッシュ

【フルプッシュ内容を自動選択】スイッチをオンにしていない場合、勝者総取りテストの終了後、そのタスクは【フルプッシュ操作待ち】状態になります。フルプッシュするテストグループを選択し、手動プッシュを行う必要があります。

勝者総取りテストの終了後
このページは役に立ちましたか？
このページの内容