AI 에이전트 효과는 모델이 아니라 쌓아둔 기록에서 갈립니다

같은 에이전트를 붙였는데 결과가 왜 이렇게 다를까요.

한쪽은 한 달 뒤에 운영하는 방식 자체가 바뀌어 있습니다. 다른 한쪽은 산출물을 한 번 읽고 덮고, 두 주쯤 지나 "생각보다 별거 없더라"로 정리하지요. 모델도 같고 붙인 계정도 비슷한데 그렇습니다.

측정 쪽 해외 뉴스레터에서 이 질문을 정면으로 다룬 글을 하나 봤지요. 누가 AI 에이전트에서 가장 큰 이득을 보느냐는 물음에 저자가 내놓은 답은 이랬습니다. 몇 년 동안 머릿속 생각을 꺼내 글로 옮겨 온 사람들. 그리고 그게 누구냐면, 바로 자기라고요.

저는 9년 동안 광고 계정을 들여다봤습니다. 그런데 AI 에이전트 효과가 사람마다 갈리는 자리를 보면 모델 선택이나 프롬프트 기술보다 앞에 놓인 조건이 하나 있었습니다. 그 사람이 평소에 판단을 글로 꺼내 두었는지입니다.

이 글에는 효과가 왜 기록량에 달려 있는지, 광고 운영에서 무엇을 기록해 두어야 하는지, 주 1회 무엇을 물어야 하는지, 그리고 효과를 무엇으로 판정하는지를 담았습니다.

---

AI 에이전트 효과는 왜 사람마다 다르게 나오나요

한 줄로 말하면 이렇습니다. 에이전트는 판단을 만들지 않고, 이미 있는 판단을 되비춥니다.

에이전트에 분석을 맡기면 문장이 나옵니다. 그 문장이 쓸 만해지려면 재료가 있어야 하는데, 재료는 계정의 숫자만으로 채워지지 않습니다. 숫자는 무엇이 일어났는지만 말하고 왜 그렇게 했는지는 말하지 않기 때문입니다. 지난달에 입찰을 올린 이유, 그때 기대했던 결과, 실패로 판정한 기준은 계정 어디에도 안 들어 있습니다.

그래서 효과는 대략 이런 모양으로 결정됩니다. 쌓아둔 기록의 양과 그 기록을 되비추는 횟수의 곱입니다. 어느 한쪽이 0이면 결과도 0이지요. 기록이 두껍고 매주 되비추는 사람이 가장 크게 가져가고, 기록이 없는 사람은 모델을 바꿔도 같은 자리에 머뭅니다.

여기서 흔한 오해를 하나 정리하겠습니다. 기록이 많아야 한다는 말은 데이터가 많아야 한다는 말이 아닙니다. 월 광고비 수억 원짜리 계정의 로그가 테라바이트로 쌓여 있어도, 그 안에 사람의 판단이 한 줄도 없으면 되비출 게 없습니다. 반대로 월 300만 원짜리 계정을 운영하면서 매주 세 줄씩 적어 온 사람에게는 되비출 게 꽤 두껍게 쌓여 있습니다.

---

기록이 쌓인 사람에게 에이전트가 더 크게 작동하는 이유

그 뉴스레터 저자의 사례가 구체적입니다. 그는 거의 10년 동안 매일 디브리핑을 적어 왔습니다. 무엇이 통했고 무엇이 안 통했는지, 무엇이 두려웠고 무엇을 배웠는지를 태그와 메모를 붙여 남겨 둔 기록이지요. 본인 표현으로는 규율을 쌓는 일이라고 생각했는데, 돌아보니 아직 존재하지 않던 에이전트를 위한 데이터셋을 훈련시키고 있었던 것이었습니다.

가장 값진 결과는 55개 기록을 한꺼번에 읽힌 날에 나왔지요. 에이전트가 반복 주제 다섯 개를 집어냈는데, 그게 실은 한 가지 두려움을 다섯 각도에서 쓴 것이었습니다. 본인은 몰랐습니다. 그의 문장을 그대로 옮기면, 에이전트는 그 패턴을 봤고 자기는 못 봤다는 겁니다.

왜 본인은 못 봤을까요. 패턴은 한 건 안에 들어 있지 않기 때문입니다. 건과 건 사이에 있습니다. 사람은 최근 몇 건만 또렷하게 기억하고, 석 달 전에 같은 말을 했다는 사실은 기억에서 지워집니다. 반면 55건을 한 번에 펼쳐 놓으면 겹치는 자리가 드러나지요.

광고 운영에서도 똑같은 모양이 나옵니다. 저도 한 계정에서 "랜딩이 문제인 것 같다"는 말을 여섯 달에 걸쳐 네 번 적어 둔 걸 뒤늦게 발견한 적이 있습니다. 네 번 다 입찰이나 키워드를 손봤고, 랜딩은 한 번도 안 건드렸습니다. 매번 새로운 생각이라고 믿었으니까요.

---

광고 운영에서 에이전트가 읽을 기록은 무엇인가요

계정에 이미 쌓여 있는 것과, 사람이 따로 남겨야 하는 것을 갈라 보겠습니다. 이 구분이 흐려서 "데이터는 충분한데 왜 안 되나"로 막히는 경우가 많습니다.

기록의 종류	계정에 이미 있나	없으면 에이전트가 못 하는 일
성과 숫자	있음	없을 일이 거의 없음
변경 이력	있음, 단 무엇이 바뀌었는지만	왜 바꿨는지 모른 채 상관관계만 주워 옴
변경 이유	없음	같은 실수의 반복을 집어낼 수 없음
판정 기준	없음	성공과 실패를 사후에 유리하게 재정의함
사전 기대	없음	결과만 보고 늘 "예상대로"라고 말함
막힌 질문	없음	조직이 무엇을 못 보고 있는지 알 수 없음

아래 네 줄이 전부 비어 있는 게 보통입니다. 그래서 적어야 할 건 숫자가 아니라 이 네 가지입니다.

변경 이력을 계정 밖에 따로 남기는 구체적인 양식은 광고 변경 기록 남기는 법에 정리해 두었습니다. 계정 화면의 어느 숫자를 판정 기준으로 쓸 수 있는지, 그 숫자를 어디서 확인하는지는 구글애즈 검색광고 실무가이드의 측정 챕터에 화면 순서대로 적어 두었습니다.

형식은 중요하지 않지요. 메모 앱이든 시트든 문서든, 날짜가 붙고 나중에 한꺼번에 읽힐 수 있으면 됩니다. 중요한 건 기록이 쌓이는 자리가 한 군데라는 점입니다. 세 군데에 나눠 적으면 되비추는 순간에 둘을 빼먹습니다.

---

에이전트에 주 1회 물어볼 세 가지

기록이 쌓이기 시작하면 다음은 되비추는 쪽입니다. 그 저자는 주 1회 리뷰를 돌리고 세 가지를 돌려받았습니다. 광고 운영에 그대로 옮기면 이렇게 됩니다.

핵심은 세 번째를 어떻게 쓰느냐입니다. 저자는 열 개 중 한두 개만 실행한다고 했습니다. 받은 것을 과제 목록으로 읽지 않고 피드백으로 읽는다는 뜻이지요. 저도 같은 쪽을 권합니다.

물어보는 방식 자체에도 빈칸이 많으면 답이 그럴듯하게만 나옵니다. 지시문에 반드시 채워야 하는 칸들은 AI 에이전트 브리핑법에 여섯 칸으로 정리해 두었습니다.

---

AI 에이전트 효과가 안 나올 때 먼저 볼 곳

효과가 없다고 느낄 때 사람들이 가장 먼저 의심하는 건 모델입니다. 그런데 제가 본 순서는 거꾸로였습니다. 세 가지 오진이 자주 겹칩니다.

첫째, 기록의 부재를 프롬프트로 메우려는 것. 지시문을 길게 다듬으면 문장은 좋아집니다. 그런데 없던 사실이 생기지는 않습니다. 재료가 없는데 조리법을 고치는 중인 셈이지요.

둘째, 남에게 보일 글로 기록하는 것. 보고용 문장으로 적으면 불확실한 것, 틀렸던 것, 무서웠던 것이 빠집니다. 그게 빠진 기록은 패턴을 거의 안 품습니다. 저자의 조언도 같았습니다. 에이전트를 위해 쓰지 말고 나를 위해 쓰라는 것, 그리고 자세히 쓰라는 것이었지요.

셋째, 한 번 돌려 보고 판정하는 것. 55건을 읽혀야 다섯 개 주제가 나왔습니다. 세 건으로는 아무 패턴도 안 나옵니다. 한 번 해 보고 "별거 없다"로 끝나는 경우의 대부분이 이 자리입니다.

(사실 저도 둘째 함정에 한참 걸려 있었습니다. 기록을 남에게 설명하는 톤으로 적던 시기에는 되비춰 봐도 새로 나오는 게 없었습니다.)

이 세 가지 밑에 깔린 한 문장은 이렇습니다. 명료함은 외주가 안 됩니다. 에이전트는 이미 글 위에 존재하는 생각만 되비출 수 있습니다. 자동화에 넘길 수 있는 것과 넘길 수 없는 것의 경계는 마케팅 AI 자동화의 한계에 따로 정리해 두었습니다.

---

AI 에이전트 효과를 판정하는 기준과 4주 시작 범위

마지막으로 판정 기준입니다. 산출물이 매끄러운지로 판정하면 거의 항상 합격이 나옵니다. 문장은 원래 잘 씁니다.

제가 쓰는 기준은 하나입니다. 내가 몰랐던 것을 알려준 건이 나왔는지입니다. 한 달에 한 건이면 충분하지요. 흩어져 있어서 못 보던 패턴 하나가 드러나면 그 한 건이 보통 분기 하나를 바꿉니다.

시작 범위는 4주로 자릅니다.

4주가 끝나면 판정이 아니라 양 확인을 합니다. 기록이 20건 아래면 아직 판정할 표본이 아닙니다. 조금 더 쌓고 다시 읽히는 게 맞습니다.

도구를 어느 단계까지 들일지, 실행 권한을 언제 넓힐지에 대한 순서는 광고 운영 AI 도입 4단계에 단계별 조건으로 적어 두었습니다. 이 글의 기록 쌓기는 그 1단계로 올라가기 전에 해 둘 일에 해당합니다.

---

자주 묻는 질문

AI 에이전트 효과는 모델 성능과 상관이 없나요?

상관은 있지만 순서가 뒤에 있습니다. 같은 기록을 읽혔을 때 더 좋은 모델이 더 나은 요약을 내놓는 것은 사실입니다. 다만 기록이 세 건뿐이면 어느 모델도 패턴을 찾아내지 못합니다. 모델 교체로 얻는 차이는 기록량이 충분해진 뒤에야 체감됩니다. 그래서 효과가 안 나올 때 모델을 먼저 바꾸면 비용만 늘고 결과는 그대로인 경우가 많습니다.

광고 운영 기록은 무엇을 남겨야 하나요?

숫자가 아니라 네 가지입니다. 변경 이유, 판정 기준, 사전 기대, 막힌 질문입니다. 성과 숫자와 변경 이력은 계정에 이미 쌓이지만 왜 바꿨는지와 무엇을 성공으로 볼지는 어디에도 남지 않습니다. 이 네 칸이 비어 있으면 에이전트는 상관관계만 주워 오고, 같은 실수가 반복되는 패턴은 집어내지 못합니다.

기록이 몇 건쯤 쌓이면 에이전트가 패턴을 찾나요?

수십 건 단위가 현실적인 하한입니다. 참고한 사례에서는 55건을 한 번에 읽혀 반복 주제 다섯 개가 나왔습니다. 저는 20건 아래에서는 판정 자체를 보류합니다. 한 건 안에는 패턴이 없고 건과 건 사이에 있기 때문에, 표본이 적으면 그럴듯한 요약만 나오고 발견은 나오지 않습니다.

에이전트가 제안한 조치를 전부 실행해도 되나요?

권하지 않습니다. 한 주에 변경을 열 건 넣으면 다음 주에 성과가 움직여도 무엇이 원인이었는지 판정할 수 없습니다. 제안 목록은 과제가 아니라 고를 보기로 읽고 한두 개만 실행하는 편이 안전합니다. 실행한 건에 대해서는 사전 기대를 기록에 먼저 적어 두는 것이 다음 판정을 가능하게 합니다.

기록을 에이전트가 읽기 좋은 형식으로 써야 하나요?

아닙니다. 오히려 그렇게 쓰면 효과가 떨어집니다. 보고용 문장으로 다듬으면 불확실했던 것, 틀렸던 것, 판단이 흔들렸던 지점이 빠지는데 패턴은 대부분 그 자리에 있습니다. 날짜가 붙고 한곳에 모여 나중에 한꺼번에 읽힐 수 있으면 형식은 메모든 시트든 상관없습니다. 중요한 것은 자세히, 그리고 자기 자신을 위해 쓰는 것입니다.

---

더 깊이 들어가려면

여기까지가 기록을 쌓고 되비추는 쪽입니다. 실제 운영에서는 그다음이 더 깁니다. 판정 기준으로 쓸 숫자를 계정 화면 어디서 확인하는지, 변경 전후를 어떤 기간으로 갈라 봐야 계절이 끼어들지 않는지, 보고용 표에 어떤 열을 올려야 매주 판단이 되는지 같은 것들이요.

아직 결제까진 좀 그렇다면, 매주 화요일 아침에 보내는 아이작 뉴스레터부터 받아보세요. 지금 남기고 있는 기록으로 무엇까지 되비출 수 있는지 같이 열어보고 싶으시면 1:1 계정 진단도 운영합니다.