마케터를 위한 A/B 테스트 최소 통계

A/B 테스트 결과가 매번 애매하게 나온다면 대개 아이디어보다 설계가 문제입니다. 표본 크기와 테스트 기간만 제대로 잡아도 ‘무엇이 이겼는지 모르겠다’는 상황의 상당 부분이 사라집니다. 마케터가 알아 두면 좋은 최소한의 통계 개념을 정리했습니다.

표본 크기는 시작하기 전에 계산한다

결과가 좋아 보일 때 멈추는 습관은 우연을 성과로 착각하게 만듭니다. 현재 전환율과 기대하는 개선 폭을 정하면 필요한 표본 수를 미리 계산할 수 있고, 그 수에 도달하기 전에는 결과를 판단하지 않는 것이 원칙입니다.

테스트 도구가 알려 주는 ‘승리 확률’ 같은 숫자는 편리하지만 기준이 도구마다 다릅니다. 어떤 방식으로 계산한 값인지 모르는 채 결론을 내리지 말고, 최소한 표본 수, 기간, 전환 수의 세 가지만큼은 팀이 직접 확인하는 습관을 들이세요.

기간은 최소 한두 주기

요일에 따라 방문자의 성격이 달라지므로 며칠만 돌려서는 편향이 생깁니다. 최소한 일주일 단위를 온전히 포함하고, 가능하면 두 주기를 채우세요.

가설을 세울 때는 ‘제목을 바꾸면 좋아질 것이다’처럼 막연하게 쓰지 말고 ‘구체적인 숫자를 넣은 제목이 클릭률을 높일 것이다’처럼 이유까지 적어 보세요. 이유가 있는 가설은 결과가 어떻게 나오든 다음 시험의 출발점이 되어 줍니다.

• 한 번에 하나의 가설만 시험한다
• 중간에 트래픽 배분을 바꾸지 않는다
• 프로모션이나 캠페인이 겹치는 기간은 피한다

결과를 보고 설계를 고치는 순간, 테스트는 증거가 아니라 변명이 된다.

스토리 라이트 편집팀

‘유의하다’는 ‘중요하다’가 아니다

통계적으로 유의한 차이라도 실제 사업에 미치는 영향이 작을 수 있습니다. 반대로 표본이 부족해 유의하지 않은 결과도 방향성은 참고할 만합니다. 숫자 하나로 결론짓지 말고 효과의 크기와 비용을 함께 살펴보세요.

시험이 끝난 뒤에는 이긴 쪽을 바로 적용하는 데서 멈추지 말고, 다른 채널과 다른 대상에서도 같은 결과가 나오는지 확인해 보세요. 한 번의 결과는 가설을 강화할 뿐 법칙이 아닙니다. 반복해서 확인된 것만 팀의 원칙으로 남기세요.

테스트 전에 정해 두는 판단 기준

결과를 본 뒤에 기준을 정하면 어떤 숫자든 그럴듯하게 해석할 수 있습니다. 그래서 테스트를 시작하기 전에 ‘무엇을 성공으로 볼 것인가’를 한 줄로 적어 두세요. 예를 들어 주요 지표는 가입 전환율로 하고, 보조 지표는 이탈률로 하며, 이 정도 이상 개선되면 적용한다는 식으로 정해 두면 됩니다.

주요 지표와 보조 지표를 구분하는 것도 중요합니다. 지표를 여러 개 놓고 보다 보면 그중 하나쯤은 좋아 보이기 마련이고, 그 하나만 골라 승리라고 말하게 되기 쉽습니다. 판단은 미리 정한 주요 지표로 하고, 나머지는 부작용이 없는지 확인하는 용도로만 쓰는 것이 안전합니다. 이 원칙만 지켜도 사후 해석 때문에 팀 안에서 벌어지는 논쟁이 크게 줄어듭니다.

적용하지 않기로 하는 기준도 함께 적어 두면 좋습니다. 개선 폭이 너무 작아서 운영 부담을 정당화하지 못하는 경우에는 이긴 쪽이라도 그대로 두는 선택이 합리적일 수 있습니다. 변화를 적용하는 데에도 디자인, 개발, 안내 문구 수정 같은 비용이 듭니다. 이 비용까지 감안해서 판단하세요.

트래픽이 적은 팀의 현실적인 방법

방문자가 많지 않은 사이트에서는 작은 차이를 가려낼 만큼의 표본을 모으기 어렵습니다. 이럴 때는 버튼 색상 같은 미세한 변경보다 제안 자체나 페이지 구조처럼 효과가 크게 나올 만한 변경을 시험하는 편이 낫습니다. 효과가 클수록 필요한 표본은 줄어들기 때문입니다.

표본이 부족한 상황에서 쓸 수 있는 방법은 다음과 같습니다.

• 테스트 대상을 전환 단계가 가까운 페이지로 좁혀 표본을 집중한다
• 한 번에 두 개를 넘는 변형을 만들지 않는다
• 기간을 늘리되 중간에 결과를 확인하며 멈추지 않는다
• 정량 결과가 부족하면 사용자 인터뷰나 녹화 화면으로 보완한다

테스트로 확신을 얻기 어려운 상황이라면 결과를 확정된 사실이 아니라 다음 가설을 위한 단서로 다루세요. 작은 팀일수록 시험의 개수보다 시험에서 배운 내용을 기록하고 이어 가는 힘이 더 중요합니다.

또한 시험을 설계할 때 ‘이 결과가 어느 쪽으로 나오든 우리는 무엇을 하겠는가’를 미리 물어보세요. 어느 쪽 결과든 다음 행동이 달라지지 않는다면 그 시험은 굳이 할 필요가 없습니다. 시간이 한정된 팀에게는 하지 않을 시험을 고르는 것도 중요한 판단입니다. 우선순위가 높은 시험부터 하나씩 끝내는 편이 낫습니다.

정리

이긴 변형과 진 변형, 그리고 왜 그렇게 되었다고 생각하는지를 짧게 기록해 두세요. 테스트 하나하나의 성패보다 이 기록이 쌓여 만들어지는 팀의 감각이 장기적으로 훨씬 큰 자산입니다.