전환 모델링, 리포트의 전환수는 전부 집계가 아닙니다

클라이언트가 걱정스러운 얼굴로 노트북을 돌려놓으며 말했습니다. "동의 모드 켠 다음부터 전환이 떨어졌어요." 제가 먼저 확인한 것은 광고 쪽이 아니라 전환 모델링이 켜졌는지였습니다.

결과는 짐작하신 대로였습니다. 광고도 사이트도 그대로였고, 떨어진 건 전환이 아니라 관측이었습니다.

이 구분이 실무에서 중요한 이유가 있습니다. 지금 리포트에 찍혀 있는 전환수는 하나의 숫자처럼 보이지만, 실제로는 실제로 관측된 건수와 통계로 추정한 건수가 더해진 값입니다. 비중은 계정마다, 기간마다 다릅니다.

기상 비유를 하나 쓰겠습니다. 관측소가 직접 잰 강수량과 예보 모델이 계산한 강수량을 같은 칸에 적어둔 표를 받은 셈이지요. 표 자체가 틀린 건 아닙니다만, 어느 줄이 관측이고 어느 줄이 예보인지 모르면 우산을 들고 나갈지 말지를 판단할 수가 없습니다.

이 글에서는 전환 모델링이 정확히 무엇을 메우는지, 동의 모드를 켠 직후 숫자가 내려앉는 이유가 무엇인지, 리포트와 원본 이벤트가 어디서 어긋나는지, 그리고 추정이 섞인 숫자로 예산을 결정할 때 지킬 규칙 네 가지를 순서대로 보여드리겠습니다.

전환 모델링이란 무엇이고 왜 리포트에 섞이나요

전환 모델링은 사용자를 끝까지 따라가지 못한 구간을, 따라갈 수 있었던 비슷한 사용자들의 행동 패턴으로 추정해 메우는 작업입니다. 쿠키 사용을 거부한 방문자, 브라우저가 추적을 제한한 방문자, 기기나 세션이 끊긴 방문자가 그 구간에 해당합니다.

그러니까 리포트의 전환수는 이렇게 구성됩니다.

왼쪽 항은 실제로 발사된 이벤트를 센 값입니다. 오른쪽 항은 발사되지 않은 자리를 메운 값이지요. 화면에서는 둘이 한 칸에 더해져 나오고, 어느 쪽이 얼마인지는 표시되지 않습니다.

추정을 넣는 쪽이 맞습니다. 안 메우면 광고 성과가 조직적으로 과소 보고되고, 그 과소 보고된 숫자로 예산을 줄이는 결정이 나오거든요. 문제는 추정이 들어왔다는 사실을 리포트가 알려주지 않는다는 데 있습니다.

그리고 여기서 혼동하기 쉬운 지점이 하나 있습니다. 분석 도구의 행동 모델링과 광고 플랫폼의 전환 모델링은 서로 다른 장치입니다. 전자는 동의하지 않은 방문자의 행동을 추정하고, 후자는 클릭과 전환을 직접 연결하지 못한 구간을 추정합니다. 둘 다 추정이지만 입력도 적용 범위도 다르고, 그래서 같은 기간 같은 전환인데 두 화면의 숫자가 다릅니다. 구글애즈와 분석 도구의 전환수가 왜 어긋나는지는 구글애즈 GA4 연동 글에서 화면 단위로 따로 다뤘습니다.

동의 모드를 켠 뒤 전환이 줄어든 것처럼 보이는 이유

앞의 장면으로 돌아가 보겠습니다. 동의 모드를 제대로 구현한 뒤에 전환이 내려앉는 일은 생각보다 흔합니다. 원인 후보는 셋인데, 처방이 완전히 다릅니다.

셋을 가르는 방법은 단순합니다. 같은 기간의 주문 데이터를 옆에 놓는 것입니다. 주문은 그대로인데 리포트만 내려갔으면 1번이나 2번이고, 주문도 함께 내려갔으면 광고 쪽을 봐야 하고, 리포트가 내려간 폭이 주문 변화보다 훨씬 크면서 특정 페이지나 기기에서만 그러면 3번을 의심합니다.

전환 모델링이 섞인 리포트와 원본 이벤트는 왜 어긋나나요

제가 본 중 가장 위험한 상태는 숫자가 튀는 계정이 아니었습니다. 반대로 너무 조용한 계정이었습니다.

전환은 매일 적당히 찍히고, 기여는 채널별로 그럴싸하게 나뉘어 있고, 추세선은 완만하게 우상향합니다. 아무 경고도 뜨지 않지요. 그래서 아무도 원본 이벤트를 열어보지 않습니다.

왜 조용할까요. 추정은 평균으로 수렴하기 때문입니다. 관측이 끊긴 구간을 평균적인 패턴으로 메우면 선은 매끈해지고 분포는 얌전해집니다. 매끈한 선은 안심의 근거가 아닙니다. 추정분이 커졌다는 신호일 수도 있거든요.

그래서 리포트와 원본이 어긋나는 지점을 미리 알아두는 편이 좋습니다.

쪼갠 값의 합이 총합과 다르면 데이터가 깨진 것으로 보고 원인을 찾아 헤매기 쉽습니다. 그런데 그 격차의 상당 부분은 고장이 아니라 설계입니다. 사용자·이벤트 단위로 내려갈수록 추정분이 빠지기 때문입니다. 어느 리포트가 모델링을 포함하는지는 도구와 버전에 따라 다르니, 중요한 판단에 쓸 리포트라면 공식 문서에서 한 번 확인하고 쓰는 쪽이 안전합니다.

원본 이벤트를 한 번도 안 보고 리포트만 보는 운영이 위험한 이유가 여기 있습니다. 관측이 멈춘 것과 추정이 메운 것이 화면에서 같은 모양이기 때문입니다.

계정별로 이 대조를 어느 화면에서 어떤 순서로 하는지는 165페이지 실무가이드의 전환 추적 장에 화면 단위로 정리해뒀습니다.

전환 모델링된 숫자를 읽을 때의 네 가지 규칙

제가 계정을 받으면 적용하는 규칙입니다. 추정을 없애려는 규칙이 아니고, 추정이 섞인 숫자로도 틀린 결정을 안 하려는 규칙입니다.

4번이 이 글의 실질적인 결론입니다. 손으로 같이 계산해 보겠습니다. 이번 달 리포트 전환 100건, 주문 데이터 70건이라 치면 격차는 약 1.4배입니다. 다음 달에 리포트 130건, 주문 80건이면 격차는 1.6배로 벌어졌지요. 전환수는 30% 늘었는데, 늘어난 30건 중 주문으로 확인되는 건 10건입니다.

이 계정에서 "전환이 30% 늘었다"는 보고는 사실입니다만, 판단 근거로는 쓸 수 없습니다. 격차 배수를 같이 적어두지 않으면 이 구분이 아예 보이지 않습니다.

전환 모델링 비중이 큰 계정에서 예산 판단을 지키는 법

규칙을 다 지켜도 추정 비중이 큰 계정은 남습니다. 그럴 때 쓰는 방법은 하나입니다. 예산을 움직이는 기준을 추정이 섞이지 않는 숫자로 바꾸는 것입니다.

구체적으로는 이렇게 갈라 둡니다. 매체 리포트의 전환수와 ROAS는 소재와 키워드를 비교하는 상대 지표로만 씁니다. 예산을 올리고 내리는 절대 판정은 주문 데이터에서 나온 실매출과 기여 기준으로 합니다. 같은 숫자를 두 용도로 쓰지 않는 것이 핵심이지요.

광고 대시보드의 전환수와 실제 매출이 어디까지 벌어질 수 있는지는 전환 4,139건이 실제 주문 243건이었던 계정 사례에 기록해뒀습니다. 그 글에서 격차를 만든 세 요인 중 하나가 바로 이 모델링 비중이었고, 혼자서는 그 정도 격차를 만들지 않지만 중복 집계와 기여 기간 어긋남에 곱해지면 배수가 됩니다.

반대 방향의 실수도 있습니다. 추정이 섞였다는 이유로 모델링된 전환을 전부 빼고 관측된 것만 보는 운영이지요. 그러면 성과를 과소 평가하게 되고, 잘 돌아가는 캠페인을 끄게 됩니다. (저도 한동안 원본 이벤트 숫자만 신뢰했는데, 그 기간에 과소 평가로 줄인 예산이 더 비쌌습니다.) 추정은 빼는 게 아니라 라벨을 붙여 쓰는 것이 맞습니다.

자주 묻는 질문

전환 모델링이란 무엇인가요?

사용자를 끝까지 추적하지 못한 구간을, 추적할 수 있었던 비슷한 사용자들의 행동 패턴으로 추정해 메우는 작업입니다. 쿠키 사용을 거부한 방문자나 브라우저가 추적을 제한한 방문자가 그 구간에 해당합니다. 그래서 리포트에 찍힌 전환수는 관측된 전환과 모델링된 전환의 합이며, 화면에서는 둘이 한 칸에 더해져 나와 구분되지 않습니다. 비중은 계정마다 기간마다 다르므로, 전환수를 비교할 때는 성과가 변한 것인지 추정 비중이 변한 것인지 먼저 가려야 합니다.

동의 모드를 켠 뒤 전환이 줄어든 것처럼 보이는 이유는 무엇인가요?

가장 흔한 원인은 행동 모델링이 아직 켜지지 않은 상태입니다. 모델은 구현하면 즉시 도는 것이 아니라 동의한 트래픽과 거부한 트래픽이 일정 기준 이상 쌓여야 학습되고, 그 전까지 리포트에는 관측된 전환만 남습니다. 두 번째 원인은 비교 기간이 모델 적용 전후를 걸치고 있는 경우이고, 세 번째는 동의 배너를 붙이는 과정에서 태그 발사가 실제로 깨진 경우입니다. 같은 기간의 주문 데이터를 옆에 놓으면 셋을 가를 수 있습니다.

전환 모델링된 전환수는 주문 데이터와 대조할 수 있나요?

건 단위로는 대조할 수 없습니다. 모델이 추정한 전환은 주문 데이터에 대응하는 줄이 없기 때문입니다. 대조는 건이 아니라 총량과 격차 배수로 합니다. 같은 기간의 리포트 전환수와 주문 건수를 나란히 적고 격차가 몇 배인지 기록한 뒤, 그 배수가 달마다 어떻게 움직이는지를 봅니다. 절대값이 아니라 격차의 추이가 신호입니다.

전환 모델링 데이터를 빼고 관측된 전환만 보면 되지 않나요?

권하지 않습니다. 관측된 것만 보면 동의를 거부한 방문자의 전환이 통째로 빠지므로 성과가 조직적으로 과소 평가되고, 잘 돌아가는 캠페인의 예산을 줄이는 결정이 나옵니다. 추정은 제거할 대상이 아니라 용도를 정해 쓸 대상입니다. 매체 리포트의 전환수는 소재와 키워드를 비교하는 상대 지표로 쓰고, 예산을 올리고 내리는 절대 판정은 주문 데이터에서 나온 실매출로 하는 식으로 갈라 두면 됩니다.

더 깊이 들어가려면

여기까지가 전환 모델링이 섞인 리포트를 읽는 방법입니다. 실무에서는 이 작업이 다시 여러 갈래로 갈립니다. 동의 모드 구성에서 어느 신호를 남길지, 전환 액션을 기본과 보조로 어떻게 가를지, 주문 데이터와 월 대조를 어떤 시트 구조로 돌릴지 같은 것들이요.

아직 결제까진 좀 그렇다면, 매주 화요일 아침에 보내는 아이작 뉴스레터부터 받아보세요. 지금 계정의 리포트 전환수와 실제 주문이 얼마나 벌어져 있는지 같이 열어보고 싶으시면 1:1 계정 진단도 운영합니다.