[칼럼] A/B 테스트, 테스트를 설계할 때 고려해야 할 것들 (1)

A/B 테스트 제대로 이해하기: ①테스트를 설계할 때 우리의 진짜 질문은? | 요즘IT (wishket.com)

A/B 테스트 제대로 이해하기: ①테스트를 설계할 때 우리의 진짜 질문은? | 요즘IT

 

우리가 흔히 하는 착각이 하나의 조건으로 A와 B로 가르는 것을 A/B test로 설명하는데 요렇게 말하는 것 보다 자세히 어떤 것을 목표로 두고 있는지 확인해 보자.

 

A 그룹에서 만족도가 55% 이고 B 그룹에서 만족도가 54% 일 때, 우리는  A가 best 라고 할 수 있는가?

> 뭔가 아쉽다..

 

raw data를 확인해 보면

A 그룹은 333개 표본에서 184개의 만족을 이끌어 냈고 (55%),

B 그룹은 2,287개 표본에서 1,239개의 만족을 이끌어 냈다 (54%).

> 비율이 아닌 절대적인 갯수로 만족도 개수로 보면 압도적이다.

> 이런 경우엔 표본 비율이 5:5로 맞지 않아서 결정하기 어려운 케이스

 

그럼 다시 표본을 추출해서

A 그룹은 998개 중 468개를 (47%)

B 그룹은 2103개 중 904개를 (43%)채택했다면?

> 제법 A를 선택하기 좋아보이는 격차 %를 보인다. (4%p gap)

 

그런데,, 이렇게 분석을 하면. 데이터 재현성이 떨어진다.

후자의 결과가 괜찮아서 선택하면, 믿을 만한 결과인가??

여러번 반복 실험을 통해서 원하는 데이터를 뽑아 낸다면 조작에 가깝다.

 

더욱 자세한 내용은 2편에서 계속된다.

 

A/B 테스트 제대로 이해하기: ②A/B 테스트를 위한 기초 통계 이해하기 | 요즘IT (wishket.com)

A/B 테스트 제대로 이해하기: ②A/B 테스트를 위한 기초 통계 이해하기 | 요즘IT