FrontierCode 50.0%와 첫 편집 18스텝 — SWE-2가 비용 벌칙에 넣은 것

9월 10일 Cognition이 SWE-2를 냈어요. 표의 첫 줄만 보면 FrontierCode 1.1 Main에서 50.0%예요. 같은 표에서 Fable 5.1은 50.9%, GPT-6 Astra는 53.3%예요. 한 칸 모자란 숫자인데, 회사는 그 구간을 Fable보다 64% 싸게, Astra보다는 대략 4분의 1 비용으로 달렸다고 적었어요. 같은 날 Devin Desktop·CLI에 올라갔고, Pro 이상 구독자에게는 한동안 SWE-2를 쿼터 밖에서 쓰게 한다고도 밝혔어요.

질문이 하나예요. 한 칸 점수와 함께 공개된 턴·비용·첫 편집 시점을, 팀은 어떤 순서로 읽어야 할까?

표가 먼저 보여주는 것

Cognition이 붙인 FrontierCode·DeepSWE·Terminal-Bench 요약을 그대로 옮기면 대략 이래요. (수치는 모두 원문 표. 공개 결과가 없으면 각 모델이 주로 쓰는 하네스에서 Cognition이 재측정했다고 적어 두었어요.)

FrontierCode에서는 선두권에 붙었고, Terminal-Bench 4에서는 크게 뒤처져요. 원문은 Fable 5.1 Medium이 FrontierCode에서 과제당 약 $3.28, Max는 50.3%에 $12.83이라 Medium보다 못하다고도 적었어요. 점수만 올리는 설정이 영수증을 같이 올리면, 그 점은 버려진다는 자기 표예요.

같은 날 OpenAI는 Agents API 공개 베타를 냈어요. Codex 하네스를 API로 열고, 호스티드 샌드박스·컨텍스트 compaction·툴 검색·서브에이전트를 묶어 팔아요. 발표문 고객 인용 중 SafetyKit은 케이스 리뷰를 옮긴 뒤 케이스당 비용 60% 감소와 지연·토큰 효율 개선을 같이 말해요. Cognition 표와 OpenAI 인용은 회사도 벤치도 다르지만, 단위가 닮아 있어요. 둘 다 “백만 토큰당 단가”가 아니라 끝난 작업 하나당 얼마가 나왔는지를 전면에 두고 있어요.

비용 벌칙이 행동을 바꾼다는 증거

SWE-2 글의 기술 핵심은 Pareto를 밀어 올리는 RL이에요. 보상은 대략 (R = S - \lambda_e C) 형태고, 성공 (S)에서 노력 수준별 비용 (C)에 벌칙 (\lambda_e)를 빼요. (\lambda_e)는 베이스 모델 Pareto 곡선의 그 지점 기울기에 맞춰, “싸지기만 하고 성공률이 무너지는” 업데이트를 보상하지 않게 골랐다고 설명해요. 학습 목표에 사용자 영수증을 직접 넣었다는 선언에 가깝습니다.

행동 숫자가 그 선언을 구체화해요. FrontierCode 1.1 Main에서 SWE-2 medium은 SWE-1.7보다 점수가 높은데, 평균 턴은 58% 적고 평균 비용은 81% 낮다고 적혀 있어요. 더 눈에 띄는 건 첫 실제 편집 시점이에요. SWE-1.7은 코드베이스를 오래 훑다 중앙값 48스텝에야 첫 편집에 들어갔고, SWE-2 medium은 18스텝이에요. 이전 세대의 “과탐색” 피드백을, 더 센 판단으로 읽을 구간을 좁혀 응답한 장면으로 원문은 읽혀요.

베이스는 Moonshot Kimi K3(2.8T)이고, Cognition은 멀티 트리리언 급에서 RL을 스케일했다고 주장해요. 외부 API·가중치 공개는 없고 Devin 제품 안에만 들어가요. 벤치 점수를 “모델 카드”로 사기보다, 특정 에이전트 제품의 기본 루프로 사게 되는 구조예요.

표를 믿을 때 같이 적어야 할 조건

여기부터는 유보가 필요해요. FrontierCode는 Cognition이 만든 벤치고, 비용 축도 Cognition이 리스트 가격·자체 하네스 가정으로 그린 거예요. 하네스 글에서 ARC-AGI-3가 보여 준 것처럼, 같은 가중치도 실행 껍데기가 바뀌면 점수가 수십 포인트 갈려요. Cognition 부록도 Anthropic은 Claude Code, OpenAI는 Codex, 오픈웨이트는 Devin CLI처럼 각 모델이 주로 쓰는 하네스에서 재측정했다고 적어요. SWE-2 50.0%와 Fable 50.9%를 한 줄에 놓아도, 그 한 줄은 이미 서로 다른 실행 루프를 타고 온 숫자일 수 있어요.

Terminal-Bench 4에서 27.3% 대 55%대 격차는, “전 구간 Pareto 우승”이 아니라는 자기 반증에 가깝습니다. 쉬운·중간 과제에서 빨리 손을 대는 모델이, 긴 터미널 에이전트 과제에서는 다른 모습을 보일 수 있다는 신호로 읽는 편이 안전해요. Fable 5.1 글이 다룬 출입·캐시·청구 문과도 겹쳐요. 캐시 단가가 싸면 긴 세션 영수증이 달라지고, 그때 “작업당 비용” 순위가 다시 흔들릴 수 있어요.

독립 벤치나 팀 내부 골드셋 없이 Cognition 슬라이드만으로 구매를 확정하면, 우리가 비판해 온 헤드라인 소비와 같은 실수를 다른 축에서 반복하게 돼요. 원문이 유용한 지점은 순위 선언보다, 성공률·달러·턴·첫 편집을 한 평면에 올린 측정 습관이에요.

팀에 옮길 읽기 순서

국내에서 Devin을 이미 쓰는 팀에게는 숫자보다 제품 경로가 먼저예요. SWE-2가 Desktop·CLI에 들어갔고 Web·Fusion 롤아웃이 이어진다면, 비교 대상은 “Fable API를 우리 래퍼에 붙인 결과”가 아니라 “Devin 루프 안에서의 과제당 영수증”이에요. 아직 Devin 밖이라면, Cognition 표를 견적서처럼 쓰지 말고 내부 과제 20~50개에 같은 네 칸만 적어 보면 돼요. 모델·노력 수준, 하네스 이름, 통과율, 통과한 과제당 달러(또는 크레딧). 실패까지 포함한 평균만 보면 싼 모델이 유리해 보이고, 통과분만 보면 비싼 모델이 유리해 보이는 착시가 흔해요.

Agents API 쪽은 반대 방향 선택지예요. 하네스를 직접 안 만들고 OpenAI가 유지·버전하는 루프를 쓰되, 도구·권한·샌드박스·평가는 팀이 가져가요. 케이스당 60% 같은 인용은 그 팀의 워크로드에 묶여 있으니, 우리 숫자로 다시 재야 해요. 다만 질문이 같아졌어요. 토큰 단가표만 보고 고르면, 턴이 길어지거나 서브에이전트가 늘 때 영수증이 어디로 가는지 안 보여요.

SWE-2가 보여 주는 장면은 “50.0%가 이겼다”가 아니에요. 한 칸 뒤처진 점수 옆에 64%·81%·18스텝을 같이 올려, 팀이 실제로 고르는 단위를 점수에서 작업 영수증으로 옮기라고 압박하는 쪽에 가까워요. FrontierCode를 그대로 믿지는 않되, 그 네 칸을 내부 표에 복사해 두는 습관은 가져갈 만해요.

---

근거가 된 소식: Introducing SWE-2: Pushing the Pareto Frontier (Cognition, 9/10), Introducing the Agents API (OpenAI, 9/10). FrontierCode·비용·턴·첫 편집 수치는 Cognition 원문 표·본문을 기준으로 했고, 독립 재현은 확인하지 않았어요.