푸시 실험

최근 업데이트 2026. 10. 02.

1.A/B 테스트란

A/B 테스트는 둘 이상의 서로 다른 전략, 디자인 또는 변경 사항을 비교하는 실험 방법으로, 어떤 전략이 유저나 비즈니스에 더 큰 영향을 주는지 판단하는 데 사용합니다. A/B 테스트를 통해 어떤 실험 그룹이 더 좋은 유저 반응, 더 높은 전환율 또는 더 나은 비즈니스 성과를 얻는지 확인할 수 있습니다.

A/B 테스트에서는 실험 대상을 무작위로 두 개(또는 여러 개)의 그룹으로 나누며, 그중 한 그룹은 대조군이고 나머지는 실험 그룹입니다. 대조군은 현재 전략이나 디자인을 사용하고, 실험 그룹은 변경된 전략이나 디자인을 사용합니다. 두 그룹의 유저는 같은 기간에 서로 다른 버전을 경험하게 됩니다.

두 그룹 간의 유저 반응, 행동 또는 비즈니스 지표를 비교하여 어느 버전이 더 우수한지 판단할 수 있습니다. 이 테스트 방법은 서로 다른 푸시 문구, 서로 다른 게임 패키지 가격, 유저에게 도달하는 방식이나 기능 변경 등 다양한 변화를 검증하는 데 사용할 수 있습니다.

A/B 테스트의 목표는 실제 데이터와 유저 반응을 바탕으로 의사 결정을 내리는 것이며, 지속적인 테스트와 최적화를 통해 유저 경험을 점진적으로 개선하고 전환율과 비즈니스 수익을 높일 수 있습니다.

2.기능 개요

AE의 정밀 운영 모듈은 푸시 콘텐츠에 대한 A/B Test를 지원합니다. 하나의 운영 작업에 여러 그룹의 콘텐츠를 설정하여 효과를 비교 테스트함으로써, 운영 담당자가 과학적으로 최적의 전략을 결정하고 목표 전환 효과를 높일 수 있도록 돕습니다.

3.기능 사용 방법

3.1 A/B 테스트 활성화

운영 작업 모듈에서 + 작업 생성을 클릭하여 운영 작업 생성 화면으로 들어갑니다

그런 다음 푸시 설정에서 A/B 테스트 활성화 버튼을 클릭하면 해당 운영 작업에서 분할 실험 설정이 활성화됩니다.

3.2 실험 타입 선택

트리거 운영 작업은 분할 실험 또는 경쟁 실험 중 어느 A/B 테스트 타입이든 선택할 수 있습니다. 다른 푸시 타입(수동, 예약-1회, 예약-반복)의 작업은 분할 실험만 진행할 수 있습니다.

3.2.1 분할 실험

• 타겟 유저 조건에 맞는 유저를 샘플링 및 그룹 비율에 따라 여러 실험 그룹에 무작위로 배정하고, 여러 방안을 동시에 푸시하여 비교함으로써 방안의 효과를 검증합니다.
• 분할 실험은 그룹별로 푸시 전략의 효과를 비교하는 시나리오에 적합하며, 이후의 전체 유저 푸시는 지원하지 않습니다.

3.2.2 경쟁 실험

현재는 트리거 운영 작업에서만 경쟁 실험을 지원합니다.

• 정식 방안을 푸시하기 전에 실험 그룹에서 여러 방안을 소규모로 테스트하고, 실험으로 최적의 방안이 나오면 타겟 유저 전체에게 푸시합니다.
• 경쟁 실험은 실험 후 전체 유저 푸시가 필요한 시나리오에 적합합니다.
• 경쟁 실험은 실험 시작 전과 실험 중에 자동 전체 발송 전략을 설정할 수 있어, 실험에서 우승 그룹이 나오면 우승 그룹의 콘텐츠 전략으로 전체 푸시를 진행할 수 있습니다.

3.3 분할 실험 설정

• 실험 샘플링 비율

A/B 테스트를 활성화한 후 실험 샘플링 비율을 수동으로 설정할 수 있습니다. 즉, 타겟 유저 중 일정 비율의 유저를 무작위로 추출하여 A/B 테스트에 참여시키며, 나머지 유저에게는 도달하지 않습니다.

샘플링 백분율은 (0, 100] 범위의 정수로 지정할 수 있으며, 슬라이더를 드래그하거나 숫자를 입력하여 설정할 수 있습니다.

• 실행 시간

분할 실험의 실행 시간은 작업 주기와 같으며, 실험은 푸시 작업과 동시에 진행됩니다.

• 실험 핵심 성과 지표

이번 A/B 테스트의 핵심 성과 지표도 설정할 수 있습니다. 현재 해당 운영 작업과 주요 목표와 일치하게 유지 또는 클릭률을 선택할 수 있으며, 클릭률을 사용하려면 먼저 채널 관리에서 해당 채널의 도달 퍼널 설정에 푸시 클릭 이벤트를 설정해야 합니다.

• 활성화 이벤트

핵심 성과 지표는 기본적으로 푸시에 성공한 유저를 기준으로 계산됩니다. 실제 사용 시나리오에서는 푸시 성공과 실험 노출 사이에 어느 정도 트래픽 손실이 있을 수 있습니다. 이런 경우 활성화 이벤트를 추가할 수 있습니다. 추가하면 시스템은 "푸시에 성공하고 활성화 이벤트를 완료한" 유저를 실험 그룹 진입 유저로 보고, 각 실험 지표 간에 유의미한 차이가 있는지 분석합니다.

• 실험 그룹 설정

위 설정을 마친 후 푸시 콘텐츠에서 대조군과 실험 그룹의 관련 콘텐츠도 설정해야 합니다.

대조군은 현재 전략이나 디자인을 사용하고, 실험 그룹은 변경된 전략이나 디자인을 사용합니다. 두 그룹의 유저는 같은 기간에 서로 다른 버전을 경험하게 됩니다.

• 대조군

각 A/B 테스트에는 기본적으로 대조군이 1개 있으며, 대조군은 유저에게 도달할지 여부를 선택할 수 있습니다.

유저에게 도달하도록 선택하면 대조군은 실험 그룹과 같은 역할을 하며, 같은 시간대에 서로 다른 도달 콘텐츠에 대한 유저 반응을 관찰할 수 있습니다.

유저에게 도달하지 않도록 선택하면 유저에게 운영 전략을 사용하는 것이 효과적인지 평가할 수 있으며, 유저에게 도달한 실험 그룹이 대조군보다 목표 전환이 뚜렷하게 향상되었는지 관찰할 수 있습니다.

• 실험 그룹

실험 그룹은 최대 4개까지 설정할 수 있습니다. 오른쪽의 작은 톱니바퀴를 클릭하여 실험 그룹을 설정할 수 있으며, 실험 그룹 추가와 삭제, 실험 그룹 이름 커스텀을 지원합니다. 또한 슬라이더를 움직여 실험 그룹의 트래픽을 배분할 수 있으며, 시스템은 선택한 타겟 유저 그룹, 실험 샘플링 비율, 실험 그룹 트래픽 배분 비율에 따라 각 실험 그룹의 도달 인원을 예측합니다.

3.4 경쟁 실험 설정

• 실험 샘플링 비율

A/B 테스트를 활성화한 후 실험 샘플링 비율, 즉 그레이 샘플링 비율을 수동으로 설정할 수 있습니다. 이는 타겟 유저 중 일정 비율의 유저를 무작위로 추출하여 A/B 테스트를 진행하는 것을 의미하며, 나머지 유저에게는 도달하지 않습니다.

샘플링 백분율은 (0, 100] 범위의 정수로 지정할 수 있으며, 슬라이더를 드래그하거나 숫자를 입력하여 설정할 수 있습니다.

• 실행 시간

경쟁 실험은 일반적으로 전체 운영 작업 기간의 전반부에 진행됩니다.

경쟁 실험은 운영 작업 기간과 함께 시작되며, 실험 종료 시간은 유저가 직접 설정해야 하고 운영 작업 종료 시간보다 늦을 수 없습니다. 경쟁 실험이 종료되어 우승 실험 그룹이 나오면, 남은 작업 기간 동안 우승 전략으로 전체 유저 푸시를 진행할 수 있습니다.

• 실험 핵심 성과 지표

이번 A/B 테스트의 핵심 성과 지표도 설정할 수 있습니다. 현재 해당 운영 작업과 주요 목표와 일치하게 유지 또는 클릭률을 선택할 수 있으며, 클릭률을 사용하려면 먼저 채널 관리에서 해당 채널의 도달 퍼널 설정에 푸시 클릭 이벤트를 설정해야 합니다.

• 실험 그룹 설정

위 설정을 마친 후 푸시 콘텐츠에서 대조군과 실험 그룹의 관련 콘텐츠도 설정해야 합니다.

대조군은 현재 전략이나 디자인을 사용하고, 실험 그룹은 변경된 전략이나 디자인을 사용합니다. 두 그룹의 유저는 같은 기간에 서로 다른 버전을 경험하게 됩니다.

• 대조군

각 A/B 테스트에는 기본적으로 대조군이 1개 있으며, 대조군은 유저에게 도달할지 여부를 선택할 수 있습니다.

유저에게 도달하도록 선택하면 대조군은 실험 그룹과 같은 역할을 하며, 같은 시간대에 서로 다른 도달 콘텐츠에 대한 유저 반응을 관찰할 수 있습니다.

유저에게 도달하지 않도록 선택하면 유저에게 운영 전략을 사용하는 것이 효과적인지 평가할 수 있으며, 유저에게 도달한 실험 그룹이 대조군보다 목표 전환이 뚜렷하게 향상되었는지 관찰할 수 있습니다.

• 실험 그룹

실험 그룹은 최대 4개까지 설정할 수 있습니다. 오른쪽의 작은 톱니바퀴를 클릭하여 실험 그룹을 설정할 수 있으며, 실험 그룹 추가와 삭제, 실험 그룹 이름 커스텀을 지원합니다. 또한 슬라이더를 움직여 실험 그룹의 트래픽을 배분할 수 있으며, 시스템은 선택한 타겟 유저 그룹, 실험 샘플링 비율, 실험 그룹 트래픽 배분 비율에 따라 각 실험 그룹의 도달 인원을 예측합니다.

• 전체 푸시 콘텐츠 자동 선택

전체 푸시 콘텐츠 자동 선택 스위치를 켜고 전체 푸시할 실험 그룹을 선택할 수 있습니다. 설정해 두면 경쟁 실험이 종료될 때 가장 성과가 좋은(우승) 실험 그룹이 있으면 우승 그룹의 전략으로 자동으로 전체 푸시합니다. 우승 그룹이 없으면 유저가 선택한 대체 전략 그룹으로 전체 푸시합니다.

물론 전체 푸시 콘텐츠 자동 선택 스위치를 켜지 않은 경우에는 실험이 종료된 후 실험 리포트 페이지에서 수동 전체 발송을 선택할 수 있습니다.

4.실험 상태

설명: 운영 작업 상태는 A/B 테스트 상태의 상위 상태입니다. 운영 작업의 상태는 실험 상태에 영향을 줍니다. 예를 들어 운영 작업이 일시 중지되면 실험도 일시 중지되고, 운영 작업이 종료되면 실험도 종료됩니다.

• 운영 작업 상태에는 초안, 승인 중, 진행 중, 일시 중지 중, 종료됨, 거부됨이 있습니다

• 실험 상태: 해당 A/B 테스트의 현재 상태를 나타내며, 전체 상태는 다음과 같습니다

  • 실험 시작 전: 운영 작업이 종료되지 않은 상태에서 아직 한 번도 푸시되지 않은 실험
  • 실험 취소: 운영 작업이 종료됨 상태가 되었을 때, 한 번도 푸시되지 않은 채 종료된 실험
  • 실험 중: 운영 작업이 실행 중이고, 실험이 아직 목표 전환 윈도우 기간 내에 있는 실험
  • 실험 일시 중지: 운영 작업이 일시 중지 중 상태이면 실험도 함께 실험 일시 중지 상태가 됩니다
  • 데이터 회수 중: 운영 작업이 종료됨 상태이지만 아직 목표 전환 윈도우 기간이 끝나지 않아 데이터가 계속 동적으로 집계되고 있는 실험
  • 리포트 완료: 운영 작업이 종료됨 상태이고 실험이 목표 전환 윈도우 기간에 도달하여 실험 리포트가 완료되고 실험이 정식으로 종료된 상태

• 또한 경쟁 실험에서 유저가 실험 종료 후 자동 전체 발송 전략을 활성화했다면 실험 기간이 끝난 후 전체 발송이 시작됩니다. 유저가 수동 전체 발송 전략을 선택했다면 실험 기간이 끝난 후 실험은 수동 전체 발송 대기 상태가 됩니다.

5.실험 리포트

A/B 테스트 리포트 모듈에서는 대조군과 각 실험 그룹의 결과 데이터를 시각화하여 비교할 수 있습니다. 정확한 통계 수치로 우승 실험 그룹을 판단할 수 있을 뿐 아니라, 전체 실험 과정의 데이터 변화 추세도 동적으로 관찰할 수 있습니다.

5.1 리포트 진입

A/B 테스트를 활성화한 운영 작업은 운영 작업 상세 페이지의 실험 리포트 탭에서 A/B 테스트의 실험 결과 데이터를 확인할 수 있습니다.

5.2 리포트 소개

5.2.1 기본 정보

분할 실험과 경쟁 실험의 기본 정보 배치는 같습니다.

실험 리포트의 기본 정보에는 실험 타입, 실험 기간, 실험 상태, 실험 핵심 성과 지표, 실험 푸시 성공 유저 수, 실험 그룹 수가 포함됩니다.

• 실험 타입: 해당 A/B 테스트의 타입, 즉 분할 실험 또는 경쟁 실험

• 실험 기간: 실험 시작부터 리포트 완료까지의 기간

  • 기본 시작 시간: 실험 시작 시간
  • 기본 종료 시간: 오늘이며, 최대 리포트 완료 시간까지 선택할 수 있음
  • 시간 필터는 실험 리포트 전체에 적용되며, 실험 그룹의 데이터, 우승 판정, 꺾은선 차트의 변화율에 연동하여 영향을 줍니다.
  • 실험 기간은 최대 90일을 넘을 수 없습니다

• 실험 상태: 해당 A/B 테스트의 현재 상태를 나타내며, 자세한 내용은 실험 상태 설명을 참고하십시오

• 핵심 성과 지표: 해당 실험에서 우승 그룹을 판단하는 핵심 지표

• 푸시 성공 유저 수: 해당 A/B 테스트의 모든 실험 그룹이 도달한 푸시 성공 유저 수의 합계

• 실험 그룹 수: 해당 A/B 테스트에서 대조군과 실험 그룹을 합한 수

5.2.2 실험 통계 결론

• 푸시 성공 유저 수: 실험 그룹별로 푸시에 성공한 유저 수
• 활성화 유저 수(활성화 이벤트를 추가한 경우): 푸시에 성공하고 핵심 성과 지표의 윈도우 기간 내에 활성화 이벤트를 완료한 유저 수(활성화 이벤트를 추가하면 지표 달성 유저 수/지표 달성률은 활성화 유저 수를 기준으로 집계됩니다).
• 달성 인원 수: 푸시 성공(또는 활성화) 유저 중 핵심 성과 지표 전환을 완료한 유저 수
• 지표 달성률: 달성 인원 수 / 푸시 성공(또는 활성화) 유저 수
• 지표 향상률: 실험 그룹 지표가 대조군 지표에 비해 상승 또는 하락한 변화율
• 실험 우승 판정 규칙

실험은 향상률의 높고 낮음으로 실험 그룹의 우승을 판정합니다. 향상률은 실험 그룹 지표가 대조군 지표에 비해 상승 또는 하락한 변화율이며, 향상률이 가장 높은 실험 그룹이 우승 그룹이 됩니다. 대조군에 비해 지표 달성률을 뚜렷하게 높이는 실험 그룹이 없으면 해당 실험에는 우승 실험 그룹이 없습니다.

• 향상률 신뢰 구간: 여기서 신뢰 구간은 지표 향상률의 실제 값이 속할 수 있는 구간 범위이며, 유의 수준 5%의 양측 검정을 사용합니다

구체적인 계산 로직:

• 실험 그룹 지표: M(실험), 실험 그룹 표본 크기: U(실험)
• 대조군 지표: M(대조), 대조군 표본 크기: U(대조)

먼저 실험 그룹과 대조군 표본의 표준편차를 각각 구합니다. 비율형 지표이므로 표준편차는 다음과 같습니다

$${σ(实验)} = \sqrt{M(实验)*(1-M(实验))\over U(实验)}$$ $${σ(对照)} = \sqrt{M(对照)*(1-M(对照))\over U(对照)}$$

향상값과 lift 계산:

$$提升值 = {M(实验) \over M(对照)} - 1$$ $${σ(lift)} = {M(实验) \over M(对照)}* \sqrt{(\frac{{σ(实验)}}{M(实验)})^2 +(\frac{{σ(对照)}}{M(对照)})^2}$$

위 계산 결과에 따라 다음을 얻을 수 있습니다.

$$置信区间上限 = 提升值 + 1.96*{σ(lift)}$$ $$置信区间下限 = 提升值 - 1.96*{σ(lift)}$$

여기서 1.96은 변수로, 신뢰도에 따라 환산되며 기본값은 95% 신뢰도입니다

• 결론

  • 실험 그룹 백분율 향상의 신뢰 구간 하한이 음수이고 상한이 양수이면: 변화가 뚜렷하지 않음
  • 실험 그룹 백분율 향상의 신뢰 구간 하한이 양수이고 상한이 양수이면: 유의미한 상승
  • 실험 그룹 백분율 향상의 신뢰 구간 하한이 음수이고 상한이 음수이면: 유의미한 하락

• 작업

1. 실험 그룹별 구체적인 푸시 콘텐츠를 확인할 수 있습니다
2. 실험 리포트에서 우승 그룹이 나오면 실험 그룹 뒤의 복사 버튼으로 전체 유저 푸시용 운영 작업을 바로 새로 만들 수 있습니다.

5.2.3 실험 데이터 변화 추이

데이터 상세에서는 배치 관점으로 각 실험 그룹의 푸시 상세와 목표 달성 현황을 확인할 수 있습니다

또한 일별로 지표 달성률의 변화 추이 차트를 확인할 수 있습니다

5.2.4 경쟁 실험 전체 발송 설정

경쟁 실험의 작업 설정에서 전체 푸시 콘텐츠 자동 선택 스위치를 켰는지 여부에 따라 실험 종료 후의 전체 발송 방식이 달라집니다.

1. 전체 발송 전략 조정

실험이 실험 종료(데이터 회수/리포트 완료) 상태가 되기 전에는 언제든 전략 조정으로 최종 전체 푸시할 실험 그룹을 변경할 수 있습니다.

Tip: 이미 종료된 실험은 전체 발송 전략을 조정할 수 없습니다.

경쟁 실험 종료 전

경쟁 실험 종료 전

1. 자동 전체 발송

전체 푸시 콘텐츠 자동 선택 스위치를 켠 경우, 경쟁 실험이 종료되면 유저가 설정한 전략에 따라 자동으로 전체 유저 푸시를 진행합니다.

경쟁 실험 종료 후

1. 수동 전체 발송

전체 푸시 콘텐츠 자동 선택 스위치를 켜지 않은 경우, 경쟁 실험이 종료되면 해당 작업은 수동 전체 발송 대기 상태가 되며, 유저가 전체 푸시할 실험 그룹을 선택하고 수동 전체 발송을 실행해야 합니다.

경쟁 실험 종료 후