Cognition SWE-2 정리 — 벤치마크·비용을 Fable 5.1·GPT-6 Astra와 비교

AI 코딩 에이전트 Devin을 만드는 Cognition이 9월 10일 새 코딩 모델 SWE-2를 공개했어요. 저는 점수보다 작업 하나를 끝내는 데 드는 비용을 함께 공개했다는 점이 더 중요하다고 봐요. 이 글에서는 벤치마크 표, 비용 주장, medium·max 같은 노력 수준의 차이, 그리고 이 숫자를 읽을 때의 주의점을 정리해요.

SWE-2 벤치마크 점수는 어느 정도인가요?

Cognition이 공개한 표에서 SWE-2와 주요 비교 모델만 옮기면 이래요. 수치는 모두 Cognition 원문 기준이에요.

FrontierCode는 Cognition이 직접 만든 코딩 벤치마크예요. Terminal-Bench는 터미널에서 여러 단계의 작업을 해내는지 보는 벤치마크예요.

대표 벤치마크인 FrontierCode에서 SWE-2는 Fable 5.1보다 0.9포인트 낮아요. 대신 Cognition은 Fable 5.1보다 64% 싸다고 주장해요. GPT-6 Astra와는 몇 포인트 차이인데, 비용은 4분의 1 수준이라고 적었어요.

약점도 표에 그대로 보여요. 긴 터미널 작업을 보는 Terminal-Bench 4에서는 27.3%로, Fable 5.1과 Astra의 절반에 못 미쳐요.

SWE-2의 바탕은 Moonshot의 Kimi K3예요. 파라미터(모델 크기를 나타내는 가중치 수)가 2.8조 개인 모델이에요. SWE-2는 공개 당일 Devin 데스크톱 앱과 CLI에 들어갔고, Devin Web과 Fusion에도 순차 적용 중이에요.

effort 수준 medium·high·max는 무엇이 다른가요?

effort(추론 노력 수준)는 모델이 답을 내기 전에 얼마나 오래 생각하고 탐색할지 정하는 설정이에요. 노력을 높이면 보통 점수가 오르지만, 토큰과 시간이 더 들어요.

SWE-2 원문은 medium과 high·max의 차이를 이렇게 설명해요. high와 max를 따로 나눠 설명하지는 않았어요.

medium의 효과는 숫자로도 나와요. FrontierCode에서 SWE-2 medium은 이전 모델 SWE-1.7보다 점수가 높았어요. 그러면서 평균 턴은 58% 적었고, 평균 비용은 81% 낮았다고 해요.

첫 수정 시점도 당겨졌어요. SWE-1.7은 코드를 오래 훑다가 중앙값 48스텝에야 첫 실제 수정을 했어요. SWE-2 medium은 18스텝이에요. Cognition은 SWE-1.7이 쉬운 작업에서 지나치게 탐색한다는 사용자 피드백을 받았다고 밝혔어요.

노력을 올린다고 항상 이득은 아니에요. 원문 각주에 따르면 Fable 5.1 Max는 과제당 $12.83을 쓰고 50.3%를 냈어요. Fable 5.1 Medium은 $3.28로 50.9%였어요. 비용은 네 배 가까운데 점수는 오히려 낮았던 거예요.

Cognition은 모든 노력 수준을 한 번의 강화학습(RL)으로 함께 훈련했다고 설명해요. 보상은 성공하면 1점을 주고, 비용에 비례한 벌점을 빼는 방식이에요. 여기서 비용은 추론 달러 비용과 실행 시간을 섞은 값이에요.

벌점의 크기는 노력 수준마다 따로 정했어요. 기준은 베이스 모델의 파레토 곡선이에요. 파레토 곡선은 같은 비용에서 낼 수 있는 가장 좋은 점수를 이은 선이에요. 곡선의 기울기에 벌점을 맞추면, "싸지기만 하고 성공률은 떨어지는" 학습을 보상하지 않게 된다는 설명이에요.

SWE-2 비용 비교는 어떻게 읽어야 하나요?

여기부터는 유보가 필요해요. FrontierCode는 Cognition이 만든 벤치이고, 비용도 Cognition이 공개 가격 기준으로 계산했어요. 독립 기관의 재현 결과는 아직 확인하지 못했어요.

측정 조건도 모델마다 달라요. 원문 부록에 따르면 공개 결과가 없는 모델은 각자 주로 쓰는 하네스에서 다시 측정했어요. 하네스는 모델을 감싸 도구 호출과 파일 수정을 실행하는 에이전트 프로그램이에요. Anthropic 모델은 Claude Code, OpenAI 모델은 Codex, 오픈웨이트 모델은 Devin CLI를 썼어요.

그리고 각 모델은 여러 노력 수준 중 가장 좋은 점수를 적었어요. 같은 모델도 하네스에 따라 점수가 크게 갈린다는 점을 생각하면, 표의 한 줄은 서로 다른 실행 조건을 거친 숫자예요.

같은 날 OpenAI도 비슷한 방향의 발표를 했어요. Agents API를 공개 베타로 내놨는데, Codex의 실행 환경을 API로 여는 제품이에요. 호스팅 샌드박스, 자동 컴팩션(컨텍스트가 차면 앞 내용을 요약해 줄이는 기능), 도구 검색, 서브에이전트를 묶었어요.

발표문에 실린 고객 SafetyKit은 케이스 리뷰를 옮긴 뒤 케이스당 비용이 60% 줄었다고 말했어요. 회사도 측정도 다르지만, 두 발표 모두 토큰 단가보다 끝난 작업 하나당 비용을 앞에 세웠어요.

그래서 제가 권하는 방법은 우리 과제로 직접 재 보는 거예요. 내부 과제 20~50개를 골라 아래 네 가지를 기록하면 돼요.

• 모델과 노력 수준
• 하네스 이름
• 통과율
• 통과한 과제당 비용 (달러 또는 크레딧)

실패까지 포함한 평균만 보면 싼 모델이 유리해 보이기 쉬워요. 통과한 과제만 보면 비싼 모델이 유리해 보이기 쉬워요. 둘을 같이 적어야 착시를 피할 수 있어요.

자주 묻는 질문

SWE-2는 어디서 쓸 수 있나요?

공개 당일 Devin 데스크톱 앱과 CLI에 들어갔어요. Devin Web과 Fusion에도 순차 적용 중이에요.

SWE-2를 API로 쓸 수 있나요?

원문은 Devin 제품 안에서 제공한다고만 밝혔어요. 별도 API나 가중치 공개는 언급하지 않았어요 (2026년 9월 기준).

SWE-2의 베이스 모델은 무엇인가요?

Moonshot의 Kimi K3예요. Cognition은 여기에 강화학습을 더해 여러 벤치마크에서 5~6포인트를 올렸다고 밝혔어요.

Fable 5.1은 어떤 모델인가요?

Anthropic의 최상위 모델이에요. 가격과 제공 방식은 Fable 5.1 정리 글에서 볼 수 있어요.

---

근거가 된 소식: Introducing SWE-2: Pushing the Pareto Frontier (Cognition, 9/10), Introducing the Agents API (OpenAI, 9/10). 벤치마크·비용·턴·첫 수정 수치는 Cognition 원문 기준이고, 독립 재현은 확인하지 못했어요.