광고 카피 A/B 테스트 설계하는 법

"A/B 테스트 돌려봤는데 B가 이겼습니다." 실무에서 하루에도 몇 번씩 듣는 말입니다. 그런데 그 B가 왜 이겼는지 물으면 대답이 나오지 않는 경우가 대부분입니다.

이 글은 광고 카피 테스트를 결과가 아니라 이유를 남기는 실험으로 설계하는 방법을 다룹니다. 통계 수업은 하지 않되, 없는 확신을 지어내지도 않겠습니다.

대부분의 "A/B 테스트"는 테스트가 아닙니다

가장 흔한 모양은 이렇습니다. 소재 두 개를 같은 날 올립니다. A는 할인율을 앞세운 카피에 제품 단독컷, B는 사용 상황을 말하는 카피에 모델컷입니다. 타깃도 A는 관심사, B는 유사타깃입니다. 나흘 뒤 B의 CTR이 높으니 A를 끕니다.

여기서 얻은 것은 순위 하나입니다. B가 A보다 나았다는 사실. 얻지 못한 것은 이유입니다. 카피가 좋아서인지, 모델컷이 좋아서인지, 유사타깃이 좋아서인지 알 수 없습니다. 세 가지가 동시에 달랐기 때문입니다.

순위만 남으면 다음 소재를 만들 때 아무것도 재현할 수 없습니다. 모델컷을 쓰면 되나요? 유사타깃으로 가면 되나요? 다음 제품에서 같은 조합을 그대로 썼는데 이번엔 졌다면, 무엇이 달라진 것인지도 설명할 수 없습니다.

이 구분이 되면 나머지는 자연스럽게 따라옵니다.

무엇을 테스트할지 먼저 정합니다

카피를 쓰기 전에 정해야 할 것은 "A와 B를 어떻게 다르게 할까"가 아니라 "어느 층에서 다르게 할까"입니다. 층은 소구란 무엇인가에서 다룬 세 개 그대로입니다.

소구 테스트는 "가격으로 갈까, 소재로 갈까"를 묻습니다. 두 변형이 아예 다른 이야기를 하므로 성과 차이가 크게 벌어질 수 있고, 그래서 오히려 판정이 쉽습니다. 대신 각 소구마다 카피와 이미지를 새로 만들어야 하니 준비 비용과 예산이 큽니다.

표현 테스트는 "'가볍습니다'와 '들고 다니는 게 부담되지 않습니다' 중 무엇이 나은가"를 묻습니다. 이유는 같습니다. 그래서 차이가 작고, 작은 차이를 읽으려면 많은 데이터가 필요합니다.

대부분의 팀이 저지르는 착각은 표현 테스트를 돌려놓고 소구를 테스트했다고 믿는 것입니다. "감성 소구가 안 먹히더라"는 결론이 실은 "그 감성 카피 한 줄이 안 먹혔다"인 경우가 많습니다. 소구 하나를 카피 한 줄로 판정하면 거의 항상 잘못된 판정이 됩니다.

변수 하나 규칙, 그리고 지키기 어려운 지점

원칙은 단순합니다. 한 번에 한 가지만 바꿉니다. 카피를 테스트하면 이미지·타깃·예산·기간·채널·랜딩을 모두 고정합니다.

그런데 솔직히 말하면, 월 예산 200만 원짜리 계정에서 이 원칙을 엄격하게 지키는 것은 대개 불가능합니다. 변수를 하나로 묶으면 변형이 두세 개로 줄고, 그 정도로는 차이가 잘 안 납니다. 반대로 변형을 늘리면 갈래당 예산이 판단 불가능한 수준으로 떨어집니다.

현실적인 절충안은 이렇습니다.

• 모든 요소를 고정할 수 없더라도, 층은 고정합니다. 카피 테스트라면 이미지가 완전히 동일하지 않더라도 최소한 "같은 톤의 제품컷" 안에서만 다르게 합니다.
• 층을 넘나드는 비교는 하지 않습니다. 카피만 다른 A·B와, 소구까지 다른 C를 한 표에 놓고 1·2·3등을 매기지 않습니다. C가 이겨도 그것은 카피 테스트의 결과가 아닙니다.
• 고정하지 못한 것을 적어둡니다. "이미지 크롭이 미세하게 달랐음"이라고 한 줄 남겨두면, 나중에 결과가 재현되지 않을 때 의심할 곳이 생깁니다.

층을 지키기만 해도 대부분의 해석 오류가 사라집니다. 완벽한 통제보다 비교 가능한 범위를 정직하게 좁히는 것이 실무에서 더 중요합니다.

얼마나 많은 데이터가 필요한가

수식을 외울 필요는 없습니다. 감각 하나면 됩니다.

작은 차이를 읽으려면 많은 데이터가 필요하고, 필요한 양은 차이가 줄어드는 속도보다 훨씬 빨리 늘어납니다. 대략 차이가 절반이 되면 필요한 데이터는 네 배가 됩니다. 이것이 표현 테스트가 소구 테스트보다 비싼 진짜 이유입니다.

아래는 자릿수 감각을 잡기 위한 표입니다. 공식이 아니고, 그대로 쓰는 기준값도 아닙니다.

이 표는 기준 CTR을 1%로 놓았을 때의 자릿수이며, 흔히 쓰이는 관행적인 판정 기준을 가정한 값입니다. 기준값이 달라지면 표 전체가 통째로 달라집니다. 기준 CTR이 0.3%인 계정이라면 필요한 노출은 이보다 훨씬 커지고, 전환율 테스트라면 세어야 하는 것은 노출이 아니라 전환 건수입니다. 그러니 이 표에서 가져갈 것은 숫자가 아니라 간격입니다. 한 줄 내려갈 때마다 자릿수가 어떻게 움직이는지.

실무 규칙은 여기서 나옵니다.

예산이 적을수록 테스트는 더 과감해져야 합니다. 이건 직관과 반대지만 계산상 그렇습니다.

광고 테스트를 망가뜨리는 실수들

일반적인 A/B 테스트 글에 나오지 않는, 광고 계정에서만 벌어지는 문제들입니다. 이 절이 이 글에서 가장 중요합니다.

1. 학습 기간 안에서 판정합니다. 대부분의 매체는 초기에 배분을 탐색합니다. 이 구간의 CPA·CTR은 최종 성능이 아니라 탐색 비용입니다. 학습이 끝나기 전 숫자로 승자를 정하면, 사실상 어느 소재가 먼저 안정됐는지를 재는 것입니다.

2. 노출이 불균등하게 배분됩니다. 가장 많이 놓치는 항목입니다. 매체 최적화가 초반에 앞선 쪽으로 예산을 몰아주면, 나흘 뒤 A는 90%의 예산을, B는 10%를 씁니다. 이건 A와 B의 비교가 아니라 큰 A와 작은 B의 비교입니다. 캠페인을 나누거나 예산을 분리해 배분을 강제로 고정하고, 끝난 뒤 반드시 변형별 소진액을 확인하십시오. 한쪽이 두 배 이상 썼다면 그 테스트는 읽지 마십시오.

3. 집행 기간이 다릅니다. A는 목·금·토·일에 돌았고 B는 월·화·수에 돌았다면, 두 소재의 차이가 아니라 주말과 평일의 차이를 본 것일 수 있습니다. 모든 변형은 같은 시각에 시작해 같은 시각에 끝나야 하고, 최소 한 주기(보통 7일)를 포함해야 합니다.

4. 타깃이 겹칩니다. 같은 계정 안에서 유사한 타깃 두 개를 각 변형에 붙이면, 같은 사람이 A와 B를 모두 봅니다. 이 경우 나중에 본 쪽이 유리하거나 불리해지고, 두 변형은 서로의 성과를 갉아먹습니다.

5. 매일 들여다보다가 앞서는 순간 멈춥니다. 이것이 통계적으로 가장 치명적입니다. 계속 확인하면서 "이겼다"고 판단되는 시점에 종료하면, 우연한 출렁임을 승리로 오인할 확률이 크게 올라갑니다. 종료 시점은 시작 전에 정하고, 그때까지는 보되 만지지 마십시오.

6. 가설과 무관한 지표로 판정합니다. "이 카피가 더 잘 읽힌다"는 가설을 CPA로 판정하면 안 됩니다. 랜딩 페이지가 병목이면 어떤 카피를 써도 CPA는 비슷하게 나쁩니다. 가설이 주목이면 CTR, 가설이 설득이면 랜딩 전환율, 가설이 타깃 적합이면 CPA입니다.

7. 승자의 저주. 작은 테스트에서 이긴 변형은 실력의 일부와 운의 일부로 이겼습니다. 예산을 키우면 운의 몫이 사라지므로 성과가 처음보다 내려앉습니다. 이건 실패가 아니라 정상입니다. 확대 판단은 승리 폭이 아니라 확대 이후에 다시 잰 숫자로 하십시오.

적은 예산으로 실제로 돌릴 수 있는 테스트

위 조건을 다 지키면서도 작게 굴러가는 형태가 있습니다. 소구 3개 × 소재 1개씩, 예산 균등, 기간 고정.

표현이 아니라 소구를 시험하는 이유는 앞 절 그대로입니다. 예산이 적으면 큰 차이만 읽을 수 있고, 큰 차이는 소구 층에서만 납니다.

그리고 시작 전에 아래 표를 채워 어딘가에 적어둡니다. 이걸 적어두는 행위 자체가 6번 실수(사후에 유리한 지표를 고르는 것)와 5번 실수(중간에 멈추는 것)를 막습니다.

판단 규칙을 미리 쓰는 것이 이 표의 핵심입니다. "30% 이상 벌어지면"이라는 문장이 없으면, 12% 차이를 보고도 승리라고 부르게 됩니다.

결과를 정직하게 읽는 법

끝나면 결과는 셋 중 하나입니다.

1. 명확한 승자. 미리 정한 폭 이상으로 벌어졌고 소진액도 균등했다면 채택합니다. 다만 승자의 저주를 감안해 예산을 한 번에 다섯 배로 올리지 말고, 늘린 뒤 숫자를 다시 재십시오. 그리고 이긴 소구를 파생 소구로 밀어 어디까지 가는지 확인합니다.

2. 차이 없음. 셋이 비슷하게 나왔습니다. 대부분의 팀이 이 결과를 버리는데, 이것은 진짜 결과이고 쓸모가 있습니다. 이 카테고리에서는 어느 이유를 대든 반응이 비슷하다는 뜻이고, 그렇다면 다음 예산은 카피를 다듬는 데가 아니라 이미지·랜딩·오퍼 같은 다른 층에 써야 합니다. "차이 없음"을 기록해두지 않으면 반년 뒤 같은 세 소구를 또 시험합니다.

3. 깨져서 판정 불가. 소진액이 8:2로 쏠렸거나, 한쪽만 주말에 돌았거나, 중간에 예산을 만졌습니다. 이때 유일하게 정직한 결론은 "모른다"입니다. 그럼에도 숫자가 눈앞에 있으니 승자를 고르고 싶어지는데, 그렇게 고른 승자는 다음 달에 배신합니다. 깨진 테스트는 결과가 아니라 설계 메모로만 남기고 다시 돌리십시오.

결과를 어디에 남기는가

테스트의 값어치는 이번 주 CTR이 아니라 반년 뒤 회의에서 나옵니다. 그런데 결과가 광고 계정 안에만 있으면 소재는 지워지고, 슬랙에 있으면 검색되지 않고, 스프레드시트에 있으면 어느 소구의 결과였는지가 끊깁니다.

남겨야 하는 최소 단위는 테스트한 대상 + 무엇을 바꿨는지 + 기간별 숫자 + 판정입니다. 넷이 한 줄로 붙어 있어야 나중에 되짚을 수 있습니다.

copy hound는 각 테스트를 루트 소구 아래의 파생 소구로 남깁니다. 무엇을 바꿨는지 변경 메모가 붙고, 그 아래로 채널별 카피와 소재 이미지, 기간별 성과, 그리고 중단·유지·확대 판정이 날짜와 함께 쌓입니다. 결과가 테스트한 대상에 붙어 있다는 것이 핵심입니다. 소재 단위로 기간을 잘라 비교하는 방법은 소재 성과 비교하기에서, 판정을 누가 언제 내리는지는 소재 리뷰 워크플로에서 다룹니다.

자주 묻는 질문

테스트는 며칠 돌려야 하나요?

날짜가 아니라 데이터 양으로 정하되, 최소 기준으로 한 주기(보통 7일)와 매체 학습 기간을 모두 넘겨야 합니다. 4일은 거의 항상 짧습니다. 다만 7일을 채웠어도 변형당 노출이 목표에 못 미치면 아직 끝난 것이 아닙니다. 반대로 2주가 지나도 목표 노출에 한참 못 미친다면, 그 테스트는 애초에 예산에 비해 너무 작은 차이를 재려 한 것입니다.

변형은 몇 개까지 만들어도 되나요?

예산이 정합니다. 변형이 늘수록 갈래당 데이터가 줄고, 동시에 "그중 하나가 우연히 앞설" 확률도 올라갑니다. 소액 계정이라면 2~3개로 시작하십시오. 다섯 개를 반씩 나눠 두 번에 걸쳐 돌리는 편이, 한 번에 다섯 개를 돌려 아무것도 못 읽는 것보다 낫습니다.

매체가 제공하는 A/B 테스트 기능을 쓰면 되나요?

쓰는 편이 낫습니다. 노출 분할과 타깃 중복 방지를 매체가 처리해주므로 2번·4번 실수를 상당 부분 막아줍니다. 다만 기능이 알려주는 "승자"는 매체가 정한 기준에 따른 것이므로, 가설에 맞는 지표인지 직접 확인하십시오. 그리고 그 기능도 학습 기간과 승자의 저주까지 없애주지는 않습니다.

결과가 유의하지 않다고 나오면 실패한 건가요?

아닙니다. 두 가지를 구분하십시오. 차이가 없다는 것과 차이를 볼 만큼 데이터가 없었다는 것은 다릅니다. 앞쪽이면 이 층에서는 승부가 안 난다는 정보이니 다른 층으로 옮기면 됩니다. 뒤쪽이면 다음 테스트는 변형 수를 줄이거나 더 큰 차이를 시험하도록 다시 설계해야 합니다. 어느 쪽인지는 미리 정해둔 최소 데이터 기준에 도달했는지로 판단합니다.

같이 읽으면 좋은 글