실험 목록
실험 생성
기본 정보
실험 → 실험 목록으로 이동하여 오른쪽 상단의 실험 생성을 클릭합니다.
실험 이름, 그룹, 실험 가설을 입력하고 실험 타입을 선택합니다.
- 피처 실험: 제품 기능, UI 스타일, 백엔드 알고리즘 등의 실험에 사용되며, 실험 그룹마다 서로 다른 피처 값을 배포합니다.
- 외부 실험: 실험 통계 분석 기능으로 외부 실험 데이터를 평가합니다(추후 지원 예정).
실험 가설은 "어떤 변경을 하면 어떤 지표가 상승하거나 하락할 것이다. 그 변경이 어떤 영향을 주기 때문이다"와 같은 구조로 작성하는 것을 권장합니다. 예:
매뉴얼 예시 스위치 V2를 활성화하면 매뉴얼 예시 전환 횟수 V2가 상승할 것이다. 새 기능이 유저의 조작 경로를 단축할 수 있기 때문이다.
확인을 클릭하여 실험 편집 페이지로 이동합니다.
트래픽, 실험 변수, 실험 그룹 설정
설정을 시작하기 전에 다음 사항을 확인하십시오.
- 실험을 진행할 프로젝트에 진입했으며, 피처, 지표, 트래픽 레이어, 실험에 대한 관리 권한이 있습니다.
- 실험의 분할 단위를 확정했습니다. 현재 시스템은 유저 ID(
#user_id), 계정 ID(#account_id), 게스트 ID(#distinct_id), 디바이스 ID(#device_id)를 지원합니다. - 실험 결과 이벤트의 수집 설계를 완료했습니다. 이벤트 지표를 생성할 때 기존 비즈니스 이벤트와 해당 집계 방식을 선택해야 합니다.
- 실험 가설, 대조군 방안, 실험 그룹 방안, 핵심 지표, 예상 실행 기간을 명확히 정했습니다.
각 실험 그룹의 트래픽 비율 합계는 100%여야 합니다. 트래픽 균등 분배를 클릭하면 그룹 간 트래픽을 빠르게 균등 분배할 수 있습니다.
종료 조건 및 통계 지표 설정
오른쪽에서 실험 종료 조건을 설정합니다. 이 예시에서는 실행 시간을 선택하고 30일 후 자동 종료되도록 설정합니다.
통계 지표에서 핵심 지표를 하나 이상 추가합니다. 핵심 지표 옆의 추가를 클릭하고 매뉴얼 예시 전환 횟수 V2를 선택 영역으로 옮긴 후 저장을 클릭합니다. 보조 지표는 선택 사항입니다. 핵심 지표와 보조 지표 외에 통계 지표에는 세 번째 유형인 가드레일 지표도 있습니다.
완료된 실험 설정에는 다음이 포함됩니다.
- 트래픽 레이어 및 레이어 트래픽 비율.
- 오디언스 조건.
- 피처 파라미터, 대조군 및 실험 그룹 설정.
- 실험 가설 및 종료 조건.
- 핵심 지표 및 보조 지표.
페이지 오른쪽 상단에서 두 가지 저장 방식을 제공합니다.
- 초안 저장: 실험이 초안 상태가 되며, 계속 편집할 수 있고 규칙 평가에 참여하지 않습니다.
- 저장 후 제출: 실험이 실행 대기 상태가 되며, 실행 전 설정 제출이 완료됩니다.
이 예시에서는 저장 후 제출을 클릭합니다. 실험 ID는 0010이며 상태가 실행 대기로 바뀝니다.
실험 실행
실행 대기 중인 실험의 작업 열에서 실행 아이콘을 클릭합니다. 실행하면 실험이 규칙 평가에 참여한다는 안내가 표시되며, 확인 후 실행을 클릭합니다.
실행에 성공하면 실험 상태가 실행 중으로 바뀌고, 피처 규칙이 적용되기 시작하며 시스템이 실험 데이터를 수집하기 시작합니다.
실험 통계 및 실험 설정 보기
실험 이름을 클릭하여 실험 상세 정보로 이동합니다.
실험 통계에는 다음이 포함됩니다.
- 실험 가설 및 실험 결론.
- 핵심 지표, 대조군 대비 실험 그룹의 성과, P 값 및 신뢰 구간.
- 실험 타임라인.
- 통계 검정 분석 결과.
- 그룹 진입 데이터 및 지표 추세.
실험이 막 시작되었거나 그룹에 진입한 유저가 없으면 그룹 진입 유저, P 값, 신뢰 구간이 0 또는 "-"로 표시될 수 있습니다. 실험 표본이 충분히 모일 때까지 기다린 후 실험 효과를 판단해야 합니다.
실험 설정에는 기본 정보, 트래픽 레이어, 분할 단위, 실험 트래픽, 피처 파라미터, 그룹 간 비율, 그룹별 피처 값, 통계 지표가 표시됩니다.
종료 후 리포트 및 작업 기록 보기
실험이 종료된 후에도 실험 통계에서 동결된 리포트를 확인할 수 있습니다. 타임라인에는 실행, 일시 중지, 재개, 실제 종료 등의 노드가 유지됩니다.
상세 페이지 상단의 작업 기록을 클릭하면 실험의 생성, 제출, 라이브 전환, 일시 중지, 재개, 종료 시간과 해당 작업자 및 일시 중지 사유를 확인할 수 있습니다.
실험 목록 기능
실험 일시 중지 및 재개
실행 중인 실험은 일시 중지 아이콘을 클릭하여 일시 중지할 수 있습니다. 일시 중지하기 전에 반드시 일시 중지 사유를 입력해야 합니다. 일시 중지되면 실험 규칙의 적용과 데이터 수집이 중단되며, 피처는 기본값으로 돌아갑니다.
일시 중지에 성공하면 실험 상태가 일시 중지됨으로 바뀝니다.
실험을 계속하려면 실행 아이콘을 다시 클릭하고 실행 재개 창에서 확인을 클릭합니다. 재개되면 실험 규칙이 다시 적용됩니다.
실험 종료
실행 중이거나 일시 중지된 실험의 작업 열에서 더 보기 메뉴를 클릭하면 리포트를 보거나 실험을 종료할 수 있습니다.
실험 종료를 클릭하면 시스템에 다음 안내가 표시됩니다.
- 실험이 영구적으로 종료되며 다시 실행할 수 없습니다.
- 피처 값 할당이 다음 우선순위 규칙으로 돌아갑니다.
- 실험 데이터는 동결되지만 리포트는 계속 확인할 수 있습니다.
확인 후 종료를 클릭합니다.
실험 상태가 종료됨으로 바뀝니다.
실험이 종료되면 트래픽 레이어 목록에 현재 사용량이 0%로 표시되며, 이는 트래픽이 해제되어 이후 실험에서 사용할 수 있음을 의미합니다.
실험 목록에는 해당 실험을 설정할 때의 100% 점유 기록이 유지됩니다. 트래픽 레이어를 현재 사용할 수 있는지 판단할 때는 트래픽 레이어 목록의 사용됨 비율을 기준으로 하십시오.
종료된 실험의 상세 페이지에서 보관 버튼을 제공합니다. 보관한 후에는 실험 목록 왼쪽 상단의 보관됨에서 확인할 수 있습니다.