성과 수치든 AI 평가 점수든, 받은 숫자가 무엇을 측정한 값인지부터 확인한다.
성과 수치: 추정치와 측정치
광고·분석 도구가 보여 주는 성과 수치 중 일부는 직접 관측한 값이 아니다. Search Engine Journal에 실린 글(Bengu Sarica Dincer, 2026-09-08)은 동의 설정, 기기 변경, 플랫폼 제한, 시스템 간 공백이 쌓여 신호가 손실된다고 설명한다. Google을 포함한 일부 주요 플랫폼은 누락된 기여도의 일부를 머신러닝 모델로 추정한다.
SEJ 글이 짚는 문제는 리포트 화면이 추정 결과와 직접 관측한 결과를 비슷한 확신으로 자주 보여 준다는 점이다. 신호 손실은 예산 판단으로도 이어진다. 기여가 보이지 않는 상위 퍼널 채널의 예산을 줄이면, 그 결정은 데이터에 근거한 것처럼 보여도 측정 체계가 볼 수 있었던 범위만 반영했을 수 있다.
AI 평가 점수: 벤치마크가 측정하는 것
성과 수치만은 아니다. AI를 도입할 때 벤치마크 점수가 판단에 쓰이기도 한다. 벤치마크는 정해진 과제를 정해진 환경에서 풀게 해 점수를 내는 시험이다. 점수가 높아도 우리 업무에서 같은 성적이 나온다는 뜻은 아니다.
τ^τ-Bench 논문(arXiv:2609.04611, 2026-09-04 제출)은 고객서비스 에이전트를 만드는 일 자체를 과제로 삼았다. 개발자 역할의 AI 에이전트가 업무 기록, 고객사 요구사항, 운영 API, 기존 코드, 비용·모델 제약을 받아 에이전트를 만들고, 그 결과물을 별도로 남겨 둔(held-out) 시뮬레이션 사용자로 평가한다. 4개 도메인 53개 과제에서 성적이 가장 좋았던 구성은 Claude Code 환경의 Claude Opus 5였고, 이 구성이 만든 에이전트는 평가 시뮬레이션의 23.9%를 통과했다. 같은 과제에서 전문가가 모델과 협업해 만든 구성 중 과제별로 가장 좋은 것을 모은 상한(정답 정보를 아는 벤치마크 저자가 만든 기준)은 82.2%였다.
논문은 실패 양상으로 AI가 업무 기록을 깊이 파악하지 않고 얕은 질의에 머무는 경향, 고객사와의 소통이 거의 없는 점, 시도한 에이전트 구조와 비용 옵션이 적은 점을 든다. 이 수치는 이 논문의 과제와 평가 방식에서 나온 값이다. 다른 과제와 환경에 그대로 옮겨 말할 수는 없다.
받은 숫자에 던질 질문
두 사례의 질문은 같다. 이 숫자는 무엇을 측정한 값인가.
- 추정치인가, 측정치인가. SEJ 글은 모델 추정(modeled·estimated)으로 표시된 지표를 확정값이 아니라 방향을 보는 용도로 쓰라고 권한다. 주문·CRM 같은 내부 기록에서 시작하고, 광고·분석 도구는 그 주변의 흐름을 파악하는 데 쓴다.
- 벤치마크 점수인가, 우리 환경의 결과인가. 시험 점수와 우리 환경에서의 성적은 별개다.
출처
- Search Engine Journal, When Attribution Looks More Precise Than The Data Behind It (Bengu Sarica Dincer, 2026-09-08)
- arXiv, τ^τ-Bench: An Environment for End-To-End, Realistic Agent Construction (arXiv:2609.04611, 2026-09-04 제출)
이 글의 작성 경위
이 글은 AI가 만든 초안에서 출발했다. 출처 원문과의 대조와 문장 수정에도 AI를 썼고, 공개는 사람이 승인했다.