A/B実験サーバーサイドSDK概要
概要
A/B実験サーバーサイドSDKは、業務サーバーで実験パラメータを取得し、その値に応じて異なる業務戦略を実行することで、各施策が業務指標に与える影響を検証するためのSDKです。
実験のターゲットオーディエンス、トラフィック配分、各テストグループのFeature値を構成できます。業務サーバーにSDKを導入して対応する構成を取得し、実験のインプレッションデータとユーザー行動データを組み合わせて、実験レポートで各グループの結果を評価します。
現在、サーバーサイドSDKはJavaに対応しています。
適用シナリオ
実験施策をバックエンドの業務ロジックで制御する場合に、サーバーサイドSDKを使用できます。例:
| シナリオ | 例 |
|---|---|
| レコメンドと並び順の戦略 | 異なるレコメンドアルゴリズムやコンテンツの並び順ルールの効果を比較 |
| ゲームの業務戦略 | 報酬の数量、タスクの難易度、リソース構成の違いを比較 |
| マーケティングと特典の戦略 | 割引施策、特典の組み合わせ、アプローチ戦略の違いを比較 |
| サーバーで制御するページコンテンツ | サーバーから異なるコンテンツ構成を返し、クライアントで表示 |
ワークフロー
サーバーサイド実験は、実験構成、パラメータ取得、業務実行、効果分析の4つの段階で構成されます。
- 実験を構成します。 調整するFeatureを作成し、デフォルト値を設定します。実験指標、トラフィックレイヤー、ターゲットオーディエンス、対照群とテストグループのパラメータ値を構成し、実験を公開します。
- 業務サーバーで実験パラメータを取得します。 Java SDKを導入し、業務リクエストに実験で必要な振り分け主体の識別子と関連プロパティを渡して、対応するFeature値を取得します。
- パラメータに応じて業務ロジックを実行します。 業務サーバーは返された値に応じて、異なるレコメンドルールや報酬構成など、対応する戦略を選択します。
- インプレッションと業務行動を記録します。 実験施策が実際に適用された箇所で実験のインプレッションを記録し、データ収集経路を通じてクリック、注文、支払いなどの業務イベントを送信します。
- 実験レポートを確認します。 各テストグループのインプレッションと指標の結果を確認し、実験施策の効果を評価します。
実験パラメータの取得、実験のインプレッション、業務行動の送信には、それぞれ異なる役割があります。 パラメータの取得は実行する業務施策を決めるため、インプレッションは実験施策が実際に適用されたことを記録するため、業務イベントは実験指標を計算するために使用します。導入時には、この3つを個別に検証してください。
導入の準備
Java SDKを導入する前に、次の情報を準備してください。
| 準備項目 | 説明 |
|---|---|
| プロジェクト情報 | SDKの接続先が実験の所属プロジェクトと一致することを確認 |
| サービスURL | デプロイ環境に対応する実験構成サービスとデータ送信先のURLを取得し、業務サーバーからアクセスできることを確認 |
| Feature構成 | 業務で読み取るFeature Key、値の型、デフォルト値を明確化 |
| 振り分け主体 | ユーザー、アカウント、デバイス、その他のどの主体でトラフィックを配分するかを確認し、対応する識別子を準備 |
| リクエストプロパティ | オーディエンス条件を使用する場合、条件判定に必要なプロパティを準備し、名前、型、値が管理画面の構成と一致することを確認 |
| データ収集 | 実験のインプレッションイベントと業務指標イベントが正常に送信され、正しい実験主体に関連付けられることを確認 |
振り分け主体の識別子は一定に保ってください。たとえば、アカウント単位でトラフィック分割する実験では、同じアカウント識別子を継続して使用し、リクエストごとに識別子が変わることでグループ分けや集計に影響しないようにします。
業務コードには明確なフォールバックを設け、構成の取得に失敗した場合、戻り値がない場合、型が想定と異なる場合にも、あらかじめ定めた業務ロジックを継続できるようにしてください。
Java SDKのインストール時の依存関係、初期化、パラメータ取得、インプレッションAPIについては、使用するバージョンのJava SDK導入ドキュメントを参照してください。
よくある質問
サーバーサイド実験でもクライアント実験SDKの導入が必要ですか?
実験パラメータを業務サーバーで取得して実行する場合、そのロジックのためにクライアントへ実験SDKを重複して導入する必要はありません。実験指標がクライアント上の行動に基づく場合は、クライアントのデータ収集SDKまたは既存の別のデータ経路で、対応するイベントを送信する必要があります。
実験パラメータを取得しても、レポートにインプレッションデータが表示されないのはなぜですか?
構成の取得が成功しても、インプレッションデータの送信が成功したとは限りません。実験施策が実際に実行されたか、正しい箇所でインプレッション記録がトリガーされたか、データ送信経路と主体の識別子が正しいかを確認してください。
実験にインプレッションがあるのに、指標にデータがないのはなぜですか?
指標に対応する業務イベントが送信されているか、イベント名とプロパティが指標定義に一致するか、業務イベントがインプレッションの主体に正しく関連付けられるかを確認してください。レポートの集計時間範囲も確認してください。
管理画面で実験構成を変更すると、業務にすぐ反映されますか?
業務で新しい構成が使われる時点は、Java SDKの構成取得・更新の仕組みによって決まります。実験を公開または変更した後は、業務サーバーが更新後の構成を取得して使用していることを検証してください。具体的な更新動作については、使用するSDKバージョンの導入ドキュメントを参照してください。

