이제 CFO가 채점표를 들고 왔다 — 엔터프라이즈 AI, 도입 경쟁에서 측정 경쟁으로

"우리 회사 AI 도입, 잘 되고 있나요?"라는 질문에 좌석 수나 사용률로 답하고 있다면, 그 답은 이제 낙제라는 게 OpenAI CFO의 주장이에요. 사라 프라이어가 7월 17일 공개한 "A scorecard for the AI age"는 AI 투자를 재는 4개 문항을 제시했는데, 핵심 지표의 이름이 도발적이에요. "달러당 유용한 지능(useful intelligence per dollar)".

5월에 AI 코딩이 파일럿을 졸업했다고 썼고, 6월엔 시간의 재배치, 7월엔 기본값화라고 썼어요. 이번 발표로 4막의 제목이 정해졌어요. 채점이에요. 도입이 끝난 시장에서는 "얼마나 쓰나"가 아니라 "얼마나 남나"를 묻기 시작하거든요.

채점표의 4개 문항

프라이어의 문항을 그대로 옮기면 이래요 (원문은 차단 이슈로 Fortune·CFO Dive의 인용 기준이에요).

1. 유용한 작업(Useful work) — AI가 의미 있는 일을 완료하고 있는가? 고객 문제 해결 건수, 배포된 코드 변경, 검토 완료된 계약서처럼요. 단순 사용량이나 도입률이 아니라요.

2. 성공 작업당 비용(Cost per successful task) — 성공한 결과물 하나의 전체 비용은 얼마인가? AI 사용료만이 아니라 재시도, 사람의 검토, 재작업까지 포함해서요. 프라이어는 여기서 흥미로운 주장을 해요. "토큰이 싼 모델이 더 많은 시도와 검토를 요구한다면, 한 번에 끝내는 비싼 모델보다 실제로는 더 비쌀 수 있다."

3. 신뢰성(Dependability) — 얼마나 자주 처음부터 맞게 해내는가? 수정과 인간 에스컬레이션이 적을수록 수익이 커진다는 거예요.

4. 컴퓨트 수익률(Return on compute) — 사용량이 늘수록 AI에 쓴 1달러가 더 많은 가치를 내는가? 같은 워크플로우를 시간에 걸쳐 추적하라는 제안이에요.

배경 수치도 만만치 않아요. CFO Dive가 인용한 전망으로는 2026년 전 세계 AI 지출이 2.59조 달러, 전년 대비 +47%예요. 이 돈이 어디로 갔는지 설명하라는 압박이 CFO들에게 쏟아지는 시점에, "좌석과 갱신율로 재지 말라, AI는 완수한 일로 재야 한다"는 프레임이 나온 거예요.

채점표대로 실제 사례를 읽어보면

마침 하루 전 나온 Cars24 사례가 이 채점표의 모범 답안처럼 쓰여 있어요. 인도·UAE·호주에서 운영되는 중고차 마켓플레이스인데, 수치가 문항별로 정리돼요. 유용한 작업 — 음성·채팅 에이전트가 월 100만 분 이상의 고객 대화를 처리하고 아웃바운드 접촉의 20%를 담당해요. 신뢰성 — 고객 지원 해결률 50% 증가, 핵심 워크플로우 처리 시간 80% 단축을 보고했고요. 그리고 놓친 리드의 12%를 회수했다는 게 매출 쪽 숫자예요. 내부적으로는 약 600명이 ChatGPT Enterprise와 Codex를 쓰는데 일간 활성 사용률이 85~90%라고 해요.

물론 이 숫자들은 전부 OpenAI와 Cars24의 자체 보고예요. 그런데 저는 숫자의 참값보다 숫자의 형식이 더 중요한 신호라고 봐요. 1년 전 사례연구들은 "직원들이 열광한다"류였는데, 지금은 해결률·회수율·처리시간 — 채점표 문항에 대응하는 지표로 쓰여요. 측정의 시대가 왔다는 건 성공 사례의 문법에서 먼저 드러나요.

해석: 채점 기준을 파는 자가 시험을 지배한다

여기서 한 걸음 물러서면 구조가 보여요. 벤더가 제품을 팔고, 기본값 자리를 차지하고(7/14 글의 논지), 이제 성과를 재는 자(ruler)까지 제공하겠다는 거예요. 그리고 이 채점표는 우연찮게 OpenAI에게 유리한 방향을 가리켜요. "성공 작업당 비용" 프레임은 토큰 단가 비교를 무력화하는 논리인데, 이건 정확히 프리미엄 모델 벤더가 저가 경쟁을 방어할 때 필요한 프레임이거든요. 프라이어 본인이 대놓고 그 논리를 폈고요. 틀렸다는 게 아니에요 — 토큰의 2% 글에서 저도 재시도와 낭비까지 포함한 실효 비용을 봐야 한다고 썼으니, 방향 자체는 맞아요. 다만 맞는 프레임과 중립적인 프레임은 다르다는 걸 기억할 필요가 있어요.

이렇게 볼 수도 있어요

첫째, 이건 이해관계자가 만든 채점표예요. AI 지출의 수혜자가 AI 지출의 평가 기준을 제안하는 구조 자체에 할인이 필요해요. 둘째, Cars24 수치는 독립 검증이 없고, 성공 사례 특유의 생존 편향도 감안해야 해요. 실패한 도입은 사례연구가 되지 않으니까요. 셋째, 4문항 중 가장 어려운 "성공"의 정의가 비어 있어요. 무엇이 성공한 작업인지는 회사마다, 업무마다 달라서 — 결국 채점표를 쓰는 쪽의 숙제로 남아요.

한국 개발자 입장에서

실용적으로는 이 채점표, 그대로 가져다 쓸 만해요. 첫째, 도입 품의와 성과 보고의 목차로 쓰세요. "몇 명이 쓰나" 대신 4문항 구조(완수 작업량 / 작업당 전체 비용 / 정정률 / 시간에 따른 단가 추이)로 보고를 짜면, 경영진 설득의 언어가 달라져요. 둘째, "성공"의 정의만큼은 자체적으로 내리세요. 코드라면 "머지되고 되돌려지지 않은 변경", 상담이라면 "재문의 없는 해결"처럼 벤더가 아니라 우리 업무 기준의 성공 조건을 문서화하는 게 채점표를 우리 것으로 만드는 방법이에요. 셋째, 성공 작업당 비용을 재려면 실패와 재시도의 로그가 필요해요. 지난 글들에서 다룬 에이전트 자원 상한·세션 기록 관리가 여기서 다시 등장해요 — 측정의 시대엔 낭비의 기록이 곧 회계 장부거든요.

한 줄로 줄이면 — 5월 졸업, 6월 재배치, 7월 기본값화, 그리고 이제 채점이에요. 시험은 시작됐고, 문제지는 벤더가 나눠줬어요. 답안의 채점 기준만큼은 우리가 정합시다.

---

근거가 된 소식: A scorecard for the AI age — Sarah Friar, OpenAI (Fortune 보도), How Cars24 scales conversations and builds faster with OpenAI