実験リスト
実験を作成する
基礎情報
「実験」→「実験リスト」を開き、右上の【実験を作成】をクリックします。
実験名、グループ、実験仮説を入力し、実験タイプを選択します：
- Feature実験：製品機能、UIスタイル、バックエンドのアルゴリズムなどの実験に使用します。テストグループごとに異なるFeature値を配信します。
- 外部実験：実験の統計分析機能を使って外部の実験データを評価します（今後対応予定）
実験仮説は、「ある変更を行えば、ある指標が向上または低下する。なぜなら、その変更がある影響をもたらすからである」という構成にすることをおすすめします。例：
マニュアル例スイッチ V2を有効にすれば、マニュアル例コンバージョン回数 V2が向上する。なぜなら、新機能によってユーザーの操作経路が短くなるからである。
【確認】をクリックすると、実験の編集ページに移動します。
トラフィック、実験変数、実験グループを設定する
設定を始める前に、以下の内容を確認してください：
- 実験を行うプロジェクトに入っており、Feature、指標、トラフィックレイヤー、実験の管理権限を持っていること。
- 実験の振り分け主体を確認済みであること。システムは現在、ユーザーID（
#user_id）、アカウント ID（#account_id）、ゲストID（#distinct_id）、デバイス ID（#device_id）に対応しています。 - 実験結果イベントの収集設計が完了していること。イベント指標を作成する際は、既存のビジネスイベントとその集計方式を選択する必要があります。
- 実験仮説、コントロールグループの案、テストグループの案、主要指標、予定実行期間が明確になっていること。
各テストグループのトラフィックの割合は合計100%にする必要があります。【均等配分】をクリックすると、グループ間でトラフィックをすばやく均等に割り当てられます。
終了条件と統計指標を設定する
右側で実験の終了条件を設定します。この例では「実行時間」を選択し、30日後に自動終了するよう設定しています。
「統計指標」で主要指標を少なくとも1つ追加します。主要指標の右にある【追加】をクリックし、「マニュアル例コンバージョン回数 V2」を選択済みエリアに移動してから【保存】をクリックします。セカンダリ指標は任意です。主要指標とセカンダリ指標のほか、「統計指標」には3つ目の種類として「ガードレール指標」もあります。
完成した実験設定には次の内容が含まれます：
- トラフィックレイヤーとレイヤーのトラフィック割合。
- オーディエンス条件。
- Featureパラメータ、コントロールグループとテストグループの設定。
- 実験仮説と終了条件。
- 主要指標とセカンダリ指標。
ページ右上には2つの保存ボタンがあります：
- 下書きを保存：実験は「下書き」になり、編集を続けられます。ルール評価には参加しません。
- 提出：実験は「実行待ち」になり、実行前の設定の提出が完了します。
この例では【提出】をクリックし、実験IDは0010、ステータスは「実行待ち」に変わります。
実験を実行する
実行待ちの実験の操作列で実行アイコンをクリックします。実行すると実験がルール評価に参加する旨がシステムから通知されるので、問題がなければ【実行】をクリックします。
実行に成功すると、実験のステータスが「実行中」に変わり、Featureルールが有効になって、システムが実験データの収集を開始します。
実験統計と実験設定を確認する
実験名をクリックすると、実験の詳細が開きます。
【実験統計】には次の内容が含まれます：
- 実験仮説と実験結論。
- 主要指標、コントロールグループに対するテストグループのパフォーマンス、P値と信頼区間。
- 実験タイムライン。
- 統計的検定の分析結果。
- グループ参加データと指標の推移。
実験の開始直後やグループに参加したユーザーがいない場合、グループ参加ユーザー、P値、信頼区間が0または「-」と表示されることがあります。十分な実験サンプルが集まってから実験効果を判断してください。
【実験設定】には、基本情報、トラフィックレイヤー、振り分け主体、実験トラフィック、Featureパラメータ、グループ間の割合、各グループのFeature値、統計指標が表示されます。
終了後のレポートと操作履歴を確認する
実験の終了後も【実験統計】で凍結されたレポートを確認できます。タイムラインには、実行、一時停止、再開、実際の終了などのノードが残ります。
詳細ページ上部の【操作履歴】をクリックすると、実験の作成、提出、公開、一時停止、再開、終了の時刻と、対応する操作者および一時停止の理由を確認できます。
実験リストの機能
実験の一時停止と再開
実行中の実験では、一時停止アイコンをクリックできます。一時停止する前に、一時停止の理由を入力する必要があります。一時停止すると、実験ルールの適用が止まり、データ収集が中断され、Featureはデフォルト値に戻ります。
一時停止に成功すると、実験のステータスが「一時停止中」に変わります。
実験を再開する場合は、もう一度実行アイコンをクリックし、「稼働再開」ウィンドウで【確認】をクリックします。再開すると実験ルールが再び有効になります。
実験を終了する
実行中または一時停止中の実験の操作列でその他メニューをクリックすると、レポートの確認や実験の終了ができます。
【実験を終了】をクリックすると、システムから次の内容が通知されます：
- 実験は完全に終了し、実行を再開することはできません。
- Featureの値は次の優先度のルールに戻ります。
- 実験データは凍結されますが、レポートは引き続き確認できます。
問題がなければ【終了】をクリックします。
実験のステータスが「終了」に変わります。
実験の終了後、トラフィックレイヤーリストに現在の使用済みが0%と表示されていれば、トラフィックが解放され、以降の実験で使用できることを示しています。
実験リストには、その実験の設定時の「占有 100%」の記録が残ります。トラフィックレイヤーが現在使用可能かどうかは、トラフィックレイヤーリストの「使用済み」の割合で判断してください。
終了した実験の詳細ページには【アーカイブ】ボタンがあります。アーカイブした実験は、実験リスト左上の【アーカイブ済み】から確認できます。