AI 에이전트가 자신 있게 틀리는 이유는 모델이 아니라 브리핑입니다

아침에 채널을 열면 브리핑 한 장이 이미 떨어져 있습니다. 문장은 매끄럽고, 권고는 단정적이고, 근거도 두 줄 붙어 있습니다. 읽는 데 3분이면 충분하지요.

그런데 계정을 열어 대조하려고 하면 손이 멈춥니다. 그 숫자가 어느 기간의 값인지, 어떤 필터가 걸려 있었는지, 무엇을 전환으로 세고 있었는지가 보고서 어디에도 없습니다.

틀렸는지 맞았는지조차 확인이 안 됩니다.

여기서 대개 도구를 의심합니다. 더 좋은 모델로 바꾸면 나아질 거라고 생각하지요. 그런데 AI 에이전트가 자신 있게 틀리는 원인은 거의 항상 지시문 쪽에 있습니다. 여러 클라이언트에 마케팅 분석용 에이전트를 붙여본 해외 실무자들의 관측도 같은 자리를 가리킵니다. 무엇이 통하는지는 모델이 아니라 브리핑에서 갈린다는 것이지요.

그래서 이 글에서는 에이전트가 왜 자신 있게 틀리는지, 브리핑에 어떤 여섯 칸을 채워야 그게 멈추는지, 그리고 받은 보고서에서 헛소리를 어떻게 걸러내는지 순서대로 보여드리겠습니다.

AI 에이전트는 왜 자신 있게 틀린 답을 내놓나요

한 줄로 말하면 이렇습니다. 빈칸을 비워두지 않기 때문입니다.

에이전트는 지시받은 일을 끝내려고 합니다. 일을 끝내는 데 필요한 정보가 브리핑에 없으면, 멈춰서 물어보는 대신 가장 그럴듯한 기본값을 스스로 골라 넣고 계속 갑니다. 그 기본값이 그 계정의 진실과 다를 때 보고서가 틀어지지요. 문장의 톤은 그대로 자신 있게 남아 있습니다.

자주 비는 칸은 세 종류입니다.

세 번째가 가장 위험합니다. 앞의 둘은 숫자가 어긋나서 눈에 걸릴 가능성이 있는데, 세 번째는 형식이 완벽해서 안 걸립니다.

여기서 중요한 사실이 하나 있습니다. 에이전트는 모른다고 말하라고 지시받지 않으면 모른다는 말을 거의 하지 않거든요. 침묵과 추정 중에서 추정을 고르는 쪽이 기본값인 셈입니다.

마케팅 AI 에이전트 지시문에 넣을 여섯 칸

그래서 브리핑은 일을 설명하는 문서가 아니라 빈칸을 미리 막는 문서입니다. 최소 여섯 칸을 채워야 에이전트의 출력이 검증 가능한 물건이 됩니다.

여섯 칸 중 1·3·6은 에이전트가 계정을 감시하는 기준과도 겹칩니다. 감시 쪽 관점에서 같은 재료를 정리한 글이 AI 광고 운영 자동화 현주소에 있으니, 브리핑을 쓰기 전에 함께 놓고 보시면 중복 작업이 줄어듭니다.

지표 정의가 비면 계산은 맞고 결론만 틀립니다

여섯 칸에서 하나만 고르라면 저는 2번을 고릅니다. 왜일까요. 이 칸이 비면 에이전트가 계산을 정확하게 하면서 결론을 틀리기 때문입니다. 산수가 틀린 보고서는 눈에 걸리지만, 산수가 맞고 정의가 틀린 보고서는 몇 달을 통과합니다.

숫자로 같이 따라가 보겠습니다. 기본 전환에 장바구니 담기와 문의가 함께 들어가 있다 치면, 전환 100건 중 실제 구매가 30건이라도 에이전트는 100을 기준으로 전환당 비용을 계산합니다. 실제 값의 3분의 1이 보고서에 찍히지요. 그 상태에서 "목표 대비 여유가 있으니 증액을 권고합니다"라는 문장이 따라붙습니다. 계산은 한 군데도 안 틀렸습니다.

이 표를 채우는 일이 곧 그 계정의 사업 지식을 문장으로 옮기는 작업입니다. (솔직히 말하면 이 작업이 브리핑 쓰기의 9할이지요.) 도구는 사면 되지만 이건 못 삽니다.

대시보드 숫자와 실제 매출이 왜 갈라지는지부터 확인하고 싶으시면 광고 전환수와 실매출 차이를 먼저 보시는 편이 순서상 낫습니다. 그 글의 진단이 여기 2번 칸의 재료가 됩니다.

전환을 계정 화면에서 어떤 열로 갈라 보고 정의를 어디서 고치는지는 165페이지 실무가이드에 화면 단위로 풀어놨습니다. 지표 정의 사전에 넣을 문장이 결국 거기서 나옵니다.

에이전트 보고서에서 헛소리를 걸러내는 검수 3단

브리핑을 잘 써도 첫 달에는 전수 검수를 해야 합니다. 검수라고 하면 보고서를 처음부터 다시 계산하는 일로 들리는데, 그렇게 하면 자동화한 이유가 사라지지요. 세 번만 찔러보면 됩니다.

3단이 특히 유용합니다. 사람이 틀린 곳을 찾아내는 대신, 에이전트에게 자기 결론의 약점을 말하게 하는 방식이거든요. 근거가 얇은 권고는 이 질문 하나에서 대부분 무너집니다.

권한을 어떤 순서로 넓혀가야 하는지는 광고 운영 AI 도입 4단계에 관측부터 가드레일까지 단계별 조건으로 적어뒀습니다. 붙이기 전에 어디서 막히는지 먼저 알고 싶으시면 마케팅 AI 자동화 한계 쪽이 빠릅니다.

브리핑은 한 번 쓰고 끝나는 문서가 아닙니다

처음 쓴 브리핑은 반드시 어딘가 비어 있습니다. 비어 있는 칸은 실패한 보고서가 알려주지요. 그래서 운영은 이 루프로 돌아갑니다. 틀린 보고서를 만나면 에이전트를 탓하는 대신 어느 칸이 비었는지를 찾고, 그 칸에 한 줄을 추가하는 것이지요.

한 가지 더 있습니다. 브리핑에 적은 룰은 왜 그렇게 정했는지와 함께 남겨야 합니다. 임계값을 30%로 정한 이유를 안 적어두면 석 달 뒤에 그 숫자를 손댈지 말지 판단할 근거가 없어지거든요. 변경에 이유를 붙여 남기는 방법은 광고 변경 기록 남기는 법에 여섯 칸 양식으로 정리해뒀습니다.

주 단위 운영 기록과 도구 실측은 아이작 뉴스레터에서 화요일 아침에 먼저 다룹니다. 계정을 같이 열어보고 싶으시면 1:1 계정 진단도 운영합니다.

자주 묻는 질문

마케팅 AI 에이전트 지시문은 얼마나 길게 써야 하나요?

A4 한 장을 기준으로 잡으시기 바랍니다. 정본, 지표 정의, 판정 임계값, 모를 때의 행동, 근거 표기 형식, 금지 구역 여섯 칸이 들어가면 분량은 대개 그 안에 맞습니다. 더 길어지면 사람이 갱신을 멈추게 되고, 갱신이 멈춘 지시문은 계정이 바뀐 뒤에 틀린 지시가 됩니다.

AI 에이전트가 없는 숫자를 만들어내는 것은 모델을 바꾸면 해결되나요?

대부분 해결되지 않습니다. 원인이 성능이 아니라 지시문의 공백이기 때문입니다. 데이터가 없을 때 추정하지 말고 확인 불가로 적고 멈추라는 규칙, 그리고 모든 숫자에 출처와 기간과 필터를 함께 적게 하는 출력 형식을 지시문에 넣는 편이 모델 교체보다 효과가 확실합니다.

마케팅 AI 에이전트 브리핑에서 가장 자주 빠지는 항목은 무엇인가요?

지표 정의입니다. 전환, 신규 고객, 유효 리드, ROAS가 그 계정에서 정확히 무엇을 세는 말인지 적지 않으면 에이전트는 업계 일반 정의를 씁니다. 이 경우 계산은 정확한데 결론만 틀리기 때문에 오류가 눈에 잘 걸리지 않고 오래 살아남습니다.

AI 에이전트 보고서를 매번 전부 검수해야 하나요?

첫 달은 전수 검수를 권합니다. 다만 처음부터 다시 계산하는 방식은 필요하지 않습니다. 총비용과 총전환을 정본 합계와 맞춰보고, 숫자 하나를 골라 계정 화면에서 역추적하고, 같은 결론이 틀렸다면 무엇이 보여야 하는지 되물어보는 세 단계면 대부분 걸러집니다.

계정이 한두 개인데도 AI 에이전트 브리핑을 문서로 써야 하나요?

자동화를 붙이지 않더라도 쓸 가치가 있습니다. 정본과 지표 정의, 판정 임계값이 문장으로 적혀 있으면 사람이 계정을 볼 때도 매번 같은 기준으로 보게 됩니다. 나중에 에이전트를 붙일 때는 그 문서가 그대로 지시문이 되므로 작업이 두 번 들지 않습니다.

더 깊이 들어가려면

여기까지가 브리핑을 어떻게 쓰느냐의 문제입니다. 실제로는 그 여섯 칸에 넣을 기준값을 계정에서 어떻게 뽑는지가 다음 문제로 남습니다. 전환을 어떤 열로 갈라 보고, 검색어를 어떤 기준으로 판정하고, 임계값을 무엇에 근거해 정하는지 말이지요.