구글애즈 실험, 바꾸고 나서 비교하면 계절이 이깁니다

광고 운영에서 가장 널리 쓰이는 판정법은 이것입니다. 월요일에 입찰 전략을 바꾸고, 다음 주 금요일에 지난주 숫자와 이번 주 숫자를 나란히 놓고 본다. CPA가 내려갔으면 성공, 올라갔으면 되돌리기.

이 방법의 문제는 숫자를 잘못 읽는 게 아닙니다. 그 숫자가 무엇 때문에 변했는지를 알 수 없다는 쪽입니다.

지난주와 이번 주 사이에 바뀐 것이 내 입찰 전략 하나뿐인 경우는 거의 없습니다. 경쟁사가 예산을 올렸을 수도 있고, 시즌이 꺾였을 수도 있고, 주력 상품이 품절이었을 수도 있지요. 그 전부가 내 변경과 한 덩어리로 섞여서 CPA 한 칸에 찍힙니다.

구글애즈 실험은 저울입니다. 저울로 무게를 재려면 양쪽 접시에 동시에 올려야 하는데, 전후 비교는 한쪽은 어제 재고 다른 한쪽은 오늘 잰 뒤 차이를 적는 일이거든요. 그사이 저울 자체가 기울었는지는 아무도 모릅니다.

그래서 이 글에서는 전후 비교가 구체적으로 무엇을 섞어버리는지, 실험 5단계를 어떤 순서로 설계하는지, 트래픽을 나눌지 기간을 나눌지 어떻게 고르는지, 그리고 결과를 판정할 때 CPA 말고 무엇을 함께 보는지 순서대로 보여드리겠습니다.

---

구글애즈 실험을 전후 비교로 하면 무엇이 틀리나요

한 줄로 말하면 이렇습니다. 변경 효과와 통제 밖의 변수가 같은 칸에 더해져서, 어느 쪽이 숫자를 움직였는지 분리할 길이 없지요.

퍼포먼스 마케팅은 통제 밖 변수가 유난히 많은 영역입니다. 시즌, 경쟁사, 가격, 재고, 정책. 이것들이 2주 동안 가만히 있어 주지 않습니다.

두 비교 방식을 나란히 놓으면 차이가 선명해집니다.

	전후 비교 (시간으로 나눔)	분할 비교 (트래픽으로 나눔)
A안이 받는 조건	지난주의 경쟁·시즌·가격	이번 주의 경쟁·시즌·가격
B안이 받는 조건	이번 주의 경쟁·시즌·가격	이번 주의 경쟁·시즌·가격
숫자가 다르면	변경 때문인지 환경 때문인지 모름	변경 때문일 가능성이 높음
필요한 전환	한 덩어리로 모음	양쪽으로 쪼개짐

분할 비교의 핵심은 정교함이 아니라 동시성입니다. 두 안이 같은 주의 같은 경매, 같은 시즌, 같은 재고 상황을 겪게 만드는 것. 그러면 환경 변화가 양쪽에 똑같이 들어가서 차이값에서 상쇄됩니다.

물론 분할 비교에도 값은 있습니다. 전환을 반으로 쪼개야 하니까요. 전환이 적은 계정에서는 이 값이 꽤 비쌉니다. 그 판단은 뒤에서 따로 다루겠습니다.

---

구글애즈 실험 설계 5단계는 어떻게 되나요

좋은 실험은 설정을 많이 바꾸는 일이 아닙니다. 한 가지 질문에 답할 수 있게 만드는 일이지요.

순서가 뒤집히면 실험이 아니라 변경 기록이 됩니다. 특히 1번과 2번을 건너뛰고 바꾸는 일이 가장 흔하지요. 바꿔놓고 나서 "그래서 전에는 얼마였지"를 찾기 시작하는 겁니다.

기준선은 캠페인 메모나 스프레드시트 한 줄이면 충분합니다. 무엇을 왜 바꿨고 그때 숫자가 얼마였는지만 남으면 되니까요. 변경 기록을 남기는 양식은 광고 변경 기록 남기는 법에 따로 정리해뒀습니다.

---

구글애즈 실험에서 트래픽을 나눌까요, 기간을 나눌까요

여기가 실무에서 가장 자주 막히는 자리입니다. 분할 비교가 원리적으로 우월한데, 전환이 적은 계정에서는 그 우월함을 살 수 없거든요.

판단 기준은 하나입니다. 반으로 쪼개도 양쪽이 각자 판정 가능한 표본을 갖는가.

계정 상태	권하는 비교 방식	이유
월 전환 30건 이상	캠페인 실험으로 트래픽 분할	쪼개도 양쪽에 신호가 남음
월 전환 15건 안팎	기간을 늘린 트래픽 분할	표본을 기간으로 메움
월 전환 10건 미만	순차 비교 + 기준선 대조	쪼개면 양쪽 다 판정 불가
시즌 변동이 극심한 업종	트래픽 분할 우선	순차 비교는 시즌에 삼켜짐

월 30건은 제가 여러 계정에서 자동입찰 변동이 눈에 띄게 줄어드는 것을 본 지점입니다. 구글의 공식 최소치가 아니라 제 보수적인 경험칙이지요. 공식 기준은 전략과 캠페인 유형마다 다른데, 전환수 최대화는 시작 전 과거 전환 15건 정도를 권하는 경우가 있고 검색 타겟 ROAS에는 최근 30일 가치 전환 15건 이상 같은 자격 기준이 적용될 수 있습니다.

순차 비교로 가야 하는 계정이라면, 그 약점을 알고 보완해야 합니다. 비교 기간에 무슨 일이 있었는지를 같이 적어두는 게 거의 전부입니다. 프로모션, 품절, 가격 변경, 경쟁사 세일. 이 기록이 없으면 두 달 뒤의 나는 CPA 숫자 하나만 보고 엉뚱한 결론을 내립니다.

이 판정 구간을 짧게 잡는 실수도 흔합니다. 평균 전환 주기가 6.3일인 계정이라면 전략 변경 후 최소 6~13일은 지나야 공정한 비교가 됩니다. 전환 주기를 계정 화면에서 확인하는 방법은 구글애즈 학습 기간에 담아뒀습니다.

실험 설계를 계정 화면 단위로 따라가는 버전은 165페이지 실무가이드의 자동입찰 챕터에 실어뒀습니다.

---

구글애즈 실험은 어느 키워드에 걸어야 가장 남나요

실험 설계를 아무리 잘해도, 걸 자리가 틀리면 배우는 게 없습니다. 저는 키워드를 세 유형으로 나눠서 실험 대상을 고릅니다.

유형	상태	실험으로 노릴 것
Top Performer	ROAS가 목표를 크게 넘음 (예: 500% 이상 또는 계정 평균 이상)	노출 점유율을 더 채울 수 있는지
Low-hanging Fruit	목표에 근접했지만 아직 못 미침	소폭 입찰 인상이나 광고 문구 개선으로 넘기는지
Poor Performer	전환은 있는데 CPA·ROAS가 나쁘고 노출 점유율은 과하게 높음	같은 전환을 더 싸게 사는지

가장 저평가된 자리는 가운데입니다. Low-hanging Fruit는 이미 목표 근처까지 와 있어서, 노출 점유율 손실(순위)이 크다면 작은 개선 하나로 목표를 넘기는 경우가 많거든요. 개선 대비 효과가 가장 큰 자리라, 저는 Top 다음으로 이 그룹부터 손봅니다.

반대로 Top Performer에 실험을 걸 때는 조심할 게 있습니다. 입찰을 올려 노출을 더 사면 평균 ROAS는 아직 좋아 보이는데 추가분이 만들어내는 ROAS는 점점 낮아집니다. 증액할수록 더 비싼 경매, 더 약한 의도까지 사게 되니까요.

그래서 판정 질문은 "평균이 아직 좋은가"가 아닙니다. "마지막 10만원이 아직 남는 장사인가"입니다. 이 한계 효율 관점은 광고 예산 증액 전 매출 예측에서 숫자로 풀어뒀습니다.

---

구글애즈 실험 결과는 무엇으로 판정하나요

CPA가 내려갔다는 사실만으로는 성공이라고 말할 수 없습니다. 여기서 한 번 더 물어야 합니다.

같은 CPA로 무엇이 들어왔는가.

판정표를 네 칸으로 쓰면 이렇게 됩니다.

CPA·ROAS	유효 문의·실매출	판정
좋아짐	좋아짐	성공. 채택하고 기준선을 갱신
좋아짐	그대로나 나빠짐	실패. 전환 설정부터 점검
나빠짐	좋아짐	보류. 전환 가치 설정을 의심
나빠짐	나빠짐	되돌리기. 기준선으로 복귀

두 번째 줄이 가장 위험합니다. 대시보드 숫자가 좋아졌으니 보고서에는 성공으로 올라가고, 그 설정이 계정에 그대로 남아 몇 달을 돌지요. (이 패턴을 알아보려면 광고 숫자 밖에 있는 정본 하나를 반드시 봐야 합니다.)

실험 결과를 왜곡하는 측정 사고 두 가지도 알아두면 좋습니다. 하나는 짧은 프로모션입니다. 1~7일짜리 세일처럼 전환율이 급변할 이벤트는 시즌성 조정으로 미리 알려줘야, 알고리즘이 세일 기간의 높은 전환율을 '새로운 평소'로 잘못 학습하지 않습니다. 몇 주 이상 이어지는 긴 시즌 변화에는 쓰지 않습니다.

다른 하나는 전환 태그 장애입니다. 측정이 깨졌던 구간을 데이터 제외로 알려주지 않으면, 알고리즘은 '전환이 급감했던 시기'를 진짜 패턴으로 기억합니다. 사고 복구만 하고 이 단계를 놓치는 일이 흔합니다.

---

5분 점검, 지금 계정에서 확인할 것

최근에 입찰 전략이나 예산을 바꾼 캠페인 하나를 열어보시면 됩니다.

네 칸이 다 채워지면 그건 변경이 아니라 실험입니다. 여기서부터 운이 실력으로 바뀝니다.

---

자주 묻는 질문

구글애즈 실험은 최소 얼마나 돌려야 판정할 수 있나요?

달력이 아니라 전환 주기로 셉니다. 기여 분석의 '전환까지 평균 소요 일수'를 확인하고 그 주기의 12회가 지난 뒤에 판정합니다. 평균이 6.3일이라면 최소 613일입니다. 여기에 양쪽 그룹이 각자 판정할 만한 전환 수를 모았는지도 함께 봐야 하므로, 전환이 적은 계정은 기간이 더 길어집니다.

구글애즈 실험에서 트래픽 분할과 순차 비교는 어떻게 고르나요?

반으로 쪼개도 양쪽이 각자 판정 가능한 표본을 갖는지로 고릅니다. 월 전환이 30건 이상이면 캠페인 실험으로 트래픽을 나누는 쪽이 낫습니다. 10건 미만이면 쪼갤 때 양쪽 다 판정이 불가능해지므로, 기간을 늘리거나 순차 비교로 가고 그 기간에 있었던 외부 변수를 함께 기록합니다.

구글애즈 실험 중에 성과가 나빠 보이면 중간에 멈춰도 되나요?

전환 주기가 1회도 지나지 않았다면 멈추지 않는 편이 낫습니다. 가장 최근 구간은 아직 전환이 채워지는 중이라서, 변경 직후의 성과는 거의 항상 실제보다 나쁘게 보입니다. 다만 예산이 비정상적으로 빠르게 소진되거나 전환이 완전히 0으로 끊긴 경우는 실험이 아니라 사고일 수 있으니 즉시 확인해야 합니다.

구글애즈 실험 결과에서 CPA가 좋아졌는데도 실패로 보는 경우가 있나요?

있습니다. CPA와 ROAS가 좋아졌는데 유효 문의나 실제 매출이 그대로이거나 나빠졌다면 실패로 봅니다. 자동입찰은 설정된 전환을 향해서만 달리기 때문에, 기본 전환에 페이지뷰나 단순 버튼 클릭 같은 쉬운 행동이 섞여 있으면 대시보드 숫자만 좋아집니다. 이때는 입찰 전략이 아니라 전환 설정부터 고쳐야 합니다.

구글애즈 실험을 할 때 한 번에 여러 가지를 바꾸면 안 되나요?

안 됩니다. 구조·광고·랜딩·입찰을 동시에 바꾸면 결과가 좋든 나쁘든 무엇이 그렇게 만들었는지 배울 수 없습니다. 예산, 광고, 랜딩페이지, 지역, 전환 목표를 고정하고 입찰 전략만 비교하는 식으로 한 번에 한 가지씩 갑니다. 급해 보여도 이 순서가 결과적으로 더 빠릅니다.

---

더 깊이 들어가려면

여기까지가 실험을 설계하는 법입니다. 실제 운영에서는 그 앞단이 더 많이 필요하지요. 어떤 전환을 기본으로 둘지, 목표 CPA와 ROAS를 어디서 출발시킬지, 성과가 안 날 때 측정·목표·예산·유입 중 무엇부터 의심할지 같은 것들입니다.

아직 결제까진 좀 그렇다면, 매주 화요일 아침에 보내는 아이작 뉴스레터부터 받아보세요. 지금 돌리는 실험 설계를 같이 열어보고 싶으시면 1:1 계정 진단도 운영합니다.