광고 소재 성과 비교, 공정하게 하는 법

주간 리포트에 소재 두 개가 나란히 올라옵니다. A는 CPA ₩50,000, B는 ₩40,000. 회의에서 "B로 밀죠"라는 말이 나오고 다들 고개를 끄덕입니다. 그런데 A는 월급날 주말이 낀 2주 동안 ₩3,000,000을 태웠고, B는 월 중순 나흘 동안 ₩200,000을 썼습니다. B의 전환은 5건입니다. 이 비교는 아무 말도 하고 있지 않습니다.

이 글은 왜 소재 비교가 대부분 틀리는지, 비교가 성립하려면 무엇을 맞춰야 하는지, 그리고 맞출 수 없을 때 어떻게 다뤄야 하는지를 실무 순서대로 정리합니다.

소재 비교가 어려운 진짜 이유

문제는 지표가 아니라 조건입니다. 두 소재가 완전히 같은 조건에서 돌아가는 일은 실무에서 거의 없습니다. 하나는 먼저 올라갔고, 하나는 예산이 더 붙었고, 하나는 다른 지면에서 더 많이 나갔습니다. 그 상태로 숫자만 떼어 붙이면, 우리가 읽고 있는 건 소재의 차이가 아니라 조건의 차이입니다.

앞의 예를 그대로 뜯어보겠습니다.

B가 이겼다고 말하려면 최소한 세 가지를 동시에 주장해야 합니다. 월급날 주말이 CPA에 영향을 주지 않았다는 것, 지출을 15배로 올려도 B의 효율이 유지된다는 것, 그리고 전환 5건이 우연이 아니라는 것. 셋 다 근거가 없습니다.

더 나쁜 건 이 판단이 되돌아오지 않는다는 점입니다. B에 예산을 몰아주면 B는 곧 A와 같은 조건에서 돌게 되고, 대개 CPA가 A 근처로 올라옵니다. 그때 팀은 "소재가 지쳤다"고 말합니다. 원래부터 그 효율이 아니었다는 설명은 아무도 하지 않습니다. 잘못된 비교는 잘못된 확대를 낳고, 잘못된 확대는 다시 잘못된 피로 진단으로 덮입니다.

비교 전에 맞춰야 하는 다섯 가지

숫자를 맞대기 전에 아래 다섯 줄을 확인하십시오. 하나라도 크게 어긋나 있으면, 그건 비교가 아니라 관찰입니다.

다섯 줄이 다 맞는 비교는 현실에서 흔하지 않습니다. 그래서 다음 단계가 필요합니다. 목표는 완벽한 비교가 아니라 어긋난 줄이 무엇인지 알고 있는 비교입니다.

특히 두 번째 줄인 예산 규모는 실무에서 가장 자주 무시됩니다. 대부분의 플랫폼은 예산이 적을 때 반응이 좋을 것 같은 사람부터 먼저 보여줍니다. 지출을 키우면 그 좋은 구간을 다 쓰고 그다음 사람들에게 넘어가므로, 같은 소재라도 예산이 커질수록 효율이 내려가는 게 기본값입니다. 소액으로 돌린 신규 소재가 기존 주력 소재를 CPA에서 이기는 장면은 그래서 거의 매주 나옵니다. 대부분은 소재가 좋아서가 아닙니다.

의도적으로 조건을 맞춰 놓고 시작하는 방법은 광고 카피 A/B 테스트 설계에서 따로 다룹니다. 사후에 조건을 보정하는 것보다 사전에 맞춰 놓는 쪽이 언제나 싸게 먹힙니다.

비율 지표와 총량 지표를 구분하십시오

지출이 다른 소재를 비교할 때 클릭 수·전환 수 같은 총량 지표는 그냥 예산 순위표입니다. ₩3,000,000을 쓴 소재가 ₩200,000을 쓴 소재보다 클릭이 많은 건 당연한 일이지, 소재가 좋다는 근거가 아닙니다.

그래서 CTR·CVR·CPA 같은 비율 지표를 씁니다. 분모로 규모를 나눠내기 때문에 예산이 달라도 어느 정도 맞대볼 수 있습니다.

다만 비율 지표도 만능이 아닙니다. 분모가 작으면 비율은 요동칩니다.

소재 B의 CPA ₩40,000은 전환 5건 위에 얹혀 있습니다. 전환이 하나 적었다면 4건에 ₩50,000, 하나 많았다면 6건에 ₩33,333입니다. 같은 소재, 같은 기간인데 CPA가 ₩33,000에서 ₩50,000까지 흔들립니다. 이 숫자로 "A보다 낫다"를 말할 수는 없습니다.

CTR은 노출이 분모라 비교적 빨리 안정되고, CVR과 CPA는 전환이 분모라 훨씬 늦게 안정됩니다. 노출은 하루에 수만 건씩 쌓이지만 전환은 하루에 몇 건입니다. 그래서 실무에서는 CTR 판단이 먼저 가능해지고 CPA 판단이 한참 뒤에 따라옵니다. 이 시차를 모르면 "CTR로는 A가 이겼는데 CPA로는 B가 이겼다"는 상황에서 어느 쪽을 믿어야 할지 판단이 안 섭니다. 대개는 분모가 큰 쪽이 먼저 믿을 만해집니다.

총량 지표를 아예 안 보는 것도 답은 아닙니다. 총량은 규모를 알려줍니다. 전환 3건짜리 소재의 CPA가 아무리 좋아도 그 소재로 월 목표를 채울 수는 없습니다. 비율로 순위를 매기고, 총량으로 이 순위가 의미 있는 규모인지 확인하십시오.

전환 건수가 몇 건부터 믿을 만한지는 업종·객단가·전환 정의에 따라 다릅니다. 어디선가 읽은 숫자를 그대로 쓰지 마시고, 자기 계정의 과거 데이터로 "며칠 지나면 순위가 안 바뀌더라"를 직접 재보십시오. 지난 분기 소재들을 3일 차·5일 차·7일 차 순위로 각각 세워 보고, 최종 순위와 처음 일치하는 시점을 찾으면 됩니다. 그게 그 계정의 기준선입니다.

맞출 수 있는 건 맞추고, 못 맞추는 건 표시하십시오

조건이 어긋난 상태에서도 할 수 있는 보정이 있습니다.

• 공통 구간으로 잘라내기. 두 소재가 동시에 돌아간 날만 남기고 비교합니다. 표본은 줄지만 계절 효과는 대부분 빠집니다.
• 노출 1,000회 기준으로 환산하기. 규모를 아예 같은 단위로 내려놓고 봅니다.
• 학습 기간 제외하기. 초반 며칠은 소재가 아니라 알고리즘의 탐색 결과입니다. 플랫폼이 학습 완료 표시를 주면 그 이후만, 안 주면 앞 2~3일을 잘라내고 봅니다.
• 객단가로 나누기. 상품이 다르면 CPA 대신 ROAS나 기여매출 대비 비용으로 놓습니다.

노출 1,000회 기준 환산은 이렇게 나옵니다.

B가 노출당 클릭도 많고 전환도 많습니다. 대신 노출을 사 오는 단가도 더 비쌉니다. 규모를 걷어내도 B가 나빠 보이지는 않는다 — 여기까지가 이 표가 말할 수 있는 전부입니다. 전환 5건이라는 사실은 그대로 남아 있습니다.

그리고 가장 중요한 원칙이 남았습니다. 보정으로 메울 수 없는 차이는 메우지 말고 표시하십시오.

리포트가 항상 1위부터 줄을 세워 주면 편합니다. 그런데 그 편함의 대가로, 조건이 어긋난 비교와 제대로 된 비교가 화면에서 똑같이 생기게 됩니다. 읽는 사람은 구분할 방법이 없습니다. 조건이 다를 때 승자 선언을 거부하는 도구가, 언제나 순위표를 보여주는 도구보다 낫습니다. "이 둘은 기간과 예산이 달라 비교 불가"라고 적혀 있는 리포트는 정보가 없는 게 아니라, 틀린 정보를 주지 않는 리포트입니다.

실무에서는 이렇게 씁니다. 소재 옆에 숫자만 적지 말고, 그 숫자가 나온 기간·지출·전환 건수를 같이 적으십시오. 표 한 줄이 "B, CPA ₩40,000"이 아니라 "B, CPA ₩40,000 (4일 / ₩200,000 / 전환 5건)"이면 읽는 사람이 스스로 할인해서 받아들입니다. 조건을 붙이는 데 드는 비용은 열 세 개고, 그걸 뺐을 때 드는 비용은 잘못 확대한 예산 전부입니다.

소재 하나가 아니라 소구 단위로 합쳐서 읽기

소재 하나의 숫자는 원래 시끄럽습니다. 썸네일 한 장, 카피 한 줄, 초반 배분 운에 따라 흔들립니다. 그런데 우리가 정말 알고 싶은 건 대개 소재가 아니라 그 소재가 담고 있던 생각입니다. "소재·디테일로 밀면 팔리는가"는 소재 하나로 답할 수 없는 질문입니다.

같은 소구가 소재 여섯 개, 채널 세 곳으로 나가 있으면 이야기가 달라집니다. 하나하나는 흔들려도 합치면 그 아이디어에 대한 판독이 나옵니다.

소구 단위 CPA ₩54,545. 소재 하나의 숫자보다 훨씬 안정적으로 보입니다.

여기에 함정이 있습니다. 소재 1이 전체 지출의 60%, 전환의 65%입니다. 즉 이 합계는 소구에 대한 판독이 아니라 사실상 소재 1에 대한 판독입니다. 소재 1이 잘된 이유가 소구가 아니라 그 썸네일이었다면, 우리는 소구를 잘못 평가하고 있는 겁니다.

그래서 합계를 믿기 전에 분포를 먼저 보십시오.

• 최대 지출 소재가 전체 지출의 몇 %인가. 절반을 넘으면 합계는 그 소재의 성과에 가깝습니다.
• 채널별로 방향이 같은가. 위 표는 Meta 1.1~1.3%, 카카오 0.9~1.2%, GDN 0.7~0.8%로 채널 간 차이가 소재 간 차이보다 큽니다. 이건 소구가 아니라 지면 특성을 읽고 있을 가능성이 큽니다.
• 소재를 하나씩 빼도 결론이 유지되는가. 소재 1을 빼면 남은 다섯 개의 CPA는 ₩1,200,000 / 19건 = ₩63,158입니다. 결론의 방향은 유지되지만 수준은 꽤 달라집니다.

이 롤업이 가능하려면 소재마다 "어느 소구에서 나왔는지"가 붙어 있어야 합니다. 그 연결을 어떻게 유지하는지는 소재 ID로 성과 추적하기에서 다룹니다. 소구·카피·소재의 층 구분 자체가 낯설다면 소구란 무엇인가를 먼저 보시는 편이 빠릅니다.

누적과 기간별은 둘 다 필요합니다

누적 숫자는 "이 소재가 지금까지 얼마나 효율적이었나"를 말합니다. 기간별 숫자는 "지금 어떤 상태인가"를 말합니다. 둘은 자주 다른 이야기를 합니다.

누적만 보면 CTR 1.14%, CPA ₩53,333으로 계정 평균과 비슷합니다. 문제가 없어 보입니다.

주차별로 보면 다른 그림입니다. CTR이 1.50%에서 0.70%까지 한 방향으로 내려왔고, 마지막 두 주는 지출 ₩800,000에 전환 9건, CPA ₩88,889입니다. 좋았던 초반이 나빠진 최근을 가리고 있는 상태입니다. 노출은 매주 늘고 클릭은 줄었으니 도달을 넓히면서 반응이 식은 전형적인 피로 패턴입니다.

반대 방향도 있습니다. 초반 학습 구간에서 CPA가 크게 튀었다가 자리를 잡은 소재는 누적 숫자가 실제보다 나빠 보입니다. 이 경우 누적만 보고 끄면 멀쩡한 소재를 끄게 됩니다.

누적으로 순위를 매기고, 기간별로 방향을 확인하십시오. 그리고 그 판단은 기록으로 남겨야 나중에 되짚을 수 있습니다. 중단·유지·확대 판정을 날짜와 함께 남기는 방식은 소재 검수 워크플로에 정리해 두었습니다.

비교 체크리스트

승자를 선언하기 전에 아래를 순서대로 확인하십시오.

1. 두 소재가 같은 날짜 구간에서 돌았는가. 아니라면 공통 구간으로 잘랐는가.
2. 그 구간에 월급날·명절·프로모션 같은 이벤트가 한쪽에만 걸려 있지 않은가.
3. 학습 기간을 제외했는가.
4. 지출 규모가 몇 배 이상 차이나지 않는가. 차이난다면 노출 1,000회 기준으로 환산했는가.
5. 타깃과 지면이 같은가. 리타게팅과 신규가 섞여 있지 않은가.
6. 같은 퍼널 단계의 지표로 비교하고 있는가.
7. 판매 상품의 객단가가 같은가. 다르다면 CPA 대신 ROAS로 보고 있는가.
8. 지는 쪽·이기는 쪽의 전환 건수가 각각 몇 건인가. 한 건 차이로 순위가 뒤집히는 수준은 아닌가.
9. 소구 단위로 합쳤다면, 한 소재가 지출의 절반 이상을 차지하고 있지 않은가.
10. 위에서 걸린 항목을 리포트에 적어 두었는가.

10번이 실제로는 가장 자주 빠집니다. 한 항목이라도 걸렸다면 "B 승"이 아니라 "B가 앞서지만 기간이 달라 확정 아님"이 정확한 표현입니다. 이 문장을 쓰는 걸 부끄러워하지 마십시오. 확정이 아닌 것을 확정처럼 적는 리포트가 팀을 훨씬 비싸게 만듭니다.

한 문단으로 줄이면 이렇습니다. 소재 비교가 틀리는 이유는 지표가 아니라 조건입니다. 지출이 다르면 총량 대신 비율 지표를 쓰되 분모가 작으면 비율도 믿지 마십시오. 맞출 수 있는 건 맞추고 못 맞추는 차이는 표시하십시오. 소재 하나는 시끄러우니 소구 단위로 합쳐서 읽되, 한 소재가 합계를 지배하고 있지 않은지 먼저 확인하십시오. 그리고 누적으로 순위, 기간별로 방향을 봅니다.

도구에서는 어떻게 다루는가

copy hound는 성과를 소재별·기간별로 기록합니다. 한 소재의 6주치가 주차별로 남고, 같은 소구에서 나온 소재들의 숫자가 소구 단위로 합쳐집니다. 소재에 선택적으로 붙이는 소재 ID로 파생 소재들을 하나의 계보로 묶어 볼 수도 있습니다.

비교 화면은 순위표를 만들어 주지 않습니다. 대신 비교에 쓰인 기간·지출·전환 건수를 숫자 옆에 같이 보여줍니다. 조건이 어긋나면 그 사실이 보이고, 판정은 사람이 합니다. 그 판정을 중단·유지·확대로 남기면 날짜와 함께 로그에 쌓입니다.

숫자를 자동으로 가져오는 연동은 없습니다. 기록은 직접 입력하는 방식입니다. 대신 그 기록이 소구·카피·소재와 한 줄로 이어져 있어서, 석 달 뒤에 "이 소구, 예전에 해봤나"를 물었을 때 답이 나옵니다. 광고 계정은 소재를 기억하지만 그 소재가 어떤 생각에서 나왔는지는 기억하지 않습니다. 비교를 제대로 하려면 그 부분을 따로 남겨야 합니다.

자주 묻는 질문

어떤 지표를 기준으로 비교해야 하나요?

소재가 책임지는 구간에 맞추십시오. 썸네일·후킹을 비교한다면 CTR, 랜딩 이후까지 포함한 설득력을 본다면 CVR이나 CPA입니다. 다만 CTR만 보고 확대하면 클릭은 많은데 안 사는 소재를 키우게 되므로, CTR로 후보를 좁히고 CPA로 확정하는 2단 구조를 권합니다. 객단가가 다른 상품이 섞여 있으면 CPA 대신 ROAS를 쓰십시오.

소재를 며칠 돌리고 비교해야 하나요?

날짜가 아니라 분모로 판단하십시오. 3일이든 10일이든 전환이 몇 건 쌓였는지가 중요합니다. 전환 5건짜리 CPA는 한 건 차이로 20% 넘게 흔들리므로 비교에 쓸 수 없습니다. 실용적인 방법은 자기 계정에서 과거 소재들의 순위가 며칠째부터 안 바뀌었는지 되짚어 보고, 그걸 최소 기간으로 삼는 것입니다. 업종과 객단가에 따라 달라지므로 남의 기준을 그대로 가져오지 마십시오.

CTR은 좋은데 CPA가 나쁜 소재는 어떻게 해야 하나요?

소재와 랜딩의 약속이 어긋났을 가능성이 큽니다. 광고가 만든 기대를 랜딩페이지가 받지 못하는 상태입니다. 소재를 끄기 전에 같은 소구로 랜딩 상단 메시지를 맞춰 보고, 그래도 CPA가 안 붙으면 그때 소재를 정리하십시오. 반대로 CTR이 낮은데 CPA가 좋다면 노출을 늘려 볼 여지가 있습니다.

채널이 다른 소재끼리도 비교할 수 있나요?

같은 지표로 직접 맞대는 건 권하지 않습니다. Meta의 CTR 1.2%와 GDN의 CTR 0.8%는 애초에 기준선이 다릅니다. 채널 간에는 절대값 대신 각 채널 안에서의 상대 순위를 비교하십시오. "이 소구가 Meta에서도 카카오에서도 상위권"이면 소구가 강한 것이고, "Meta에서만 상위권"이면 지면에 맞은 것입니다.

같이 읽으면 좋은 글