"4B 모델이 검색에서 GPT-5.6을 100배 싸게 이겼다"는 주장, 뜯어봤습니다
한줄평
이 주장은 '4B 모델이 GPT-5.6을 이겼다'가 아니라 '단일 지식베이스에 파인튜닝한 4B 모델이, 자사 벤치마크에서, LLM 심판 기준으로, 추론 비용만 따지면 GPT-5.6 Sol의 1/100'이라는 훨씬 좁은 이야기예요. 좁은 도메인 에이전트 검색에서 소형 모델이 경쟁력 있다는 방향은 진짜지만, 수치 없는 차트와 자사 심판이라는 함정은 그대로 봐야 합니다.
"강화학습으로 후처리한 4B 오픈 모델이 검색에서 GPT-5.6 Sol과 같은 정확도를, 1/100 비용에." GeekNews에 올라온 이 주장이 개발자들 사이에서 화제였어요. 사실이면 API 비용 구조를 뒤집을 이야기죠. 그래서 원 자료(Castform과 Neon의 공동 블로그, 그리고 GitHub 코드 예제)를 직접 확인했어요. 결론부터 말하면 진실과 마케팅이 섞여 있어요. 어느 쪽이 어느 쪽인지, 실제로 궁금할 질문 순서대로 문답으로 정리했습니다.
Q. Castform이 뭔가요? 새 모델인가요?아니요. 모델이 아니라 스타트업이자 RL 후처리 플랫폼이에요. ML이나 GPU 전문성 없이 오픈 웨이트 모델을 강화학습으로 후처리하게 해주는 도구고, benchmax라는 오픈소스 SDK(Apache-2.0)를 같이 냈어요. 이번 주장은 Castform이 서버리스 Postgres 업체 Neon과 함께 낸 마케팅 글이에요. 이 점이 첫 번째 판단 기준이에요 — 검증하는 제3자가 아니라, 파는 두 회사가 자기 제품으로 자기 제품을 홍보한 글입니다.
Q. 그럼 "4B 모델"의 정체는?베이스는 Qwen3.5-4B예요(코드 예제 TRAINING_ARGS에서 확인). 이걸 Castform으로 후처리한 거고요. Qwen3.5-4B 자체는 오픈 웨이트지만, 후처리한 결과 모델의 가중치를 공개했다는 언급은 없어요. 즉 "오픈 모델로 했다"와 "결과물이 오픈이다"는 다른 얘기예요.
Q. "GPT-5.6 Sol급 정확도"는 무슨 벤치마크로 잰 건가요?여기가 핵심 함정이에요. BrowseComp 같은 표준 에이전트 검색 벤치마크가 아니에요. Neon 자체 벤치마크이고, 정답 채점이 LLM 심판(gpt-5.4-mini)이 "정확성·검색 품질·인용·간결성"을 점수 매기는 방식이에요. 다시 말해 "정확도"가 객관적 정답 일치율이 아니라 다른 AI가 매긴 주관적 점수예요. 그리고 블로그에는 숫자가 하나도 없어요. 축 라벨 없는 차트 두 개("추론 비용 vs 평균 평가 보상")만 있고, 정확도 수치도, 표도 없어요. 주장을 검증하려는 독자에게 검증할 대상 숫자를 안 준 거예요.
Q. "100배 싸다"는 건 그럼 거짓인가요?거짓은 아닌데, 가장 유리하게 자른 숫자예요. 세 가지를 알아야 해요. 첫째, 이건 추론 비용만이에요 — RL 훈련 GPU 비용, 임베딩·Postgres 검색 인프라 비용은 뺐어요. 둘째, 비교 대상이 GPT-5.6 Sol, 즉 제일 비싼 최상위 티어($5/$30)예요. OpenAI에도 더 싼 Terra·Luna가 있는데 굳이 Sol과 비교한 거죠. 셋째, 에이전트 검색은 여러 단계를 도는데 각 단계가 LLM 호출이라, 값싼 토큰의 소형 모델이 단계 수가 늘면 전체 비용은 생각만큼 안 줄어요. 업계 자료로도 "이제 단위는 프롬프트당 비용이 아니라 완료 작업당 비용"이에요. 토큰당 100배 싸다 ≠ 작업당 100배 싸다.
Q. 그래도 4B가 특정 작업에서 대형을 이긴다는 건 사실 아닌가요?이건 진짜예요, 그리고 Castform만의 이야기도 아니에요. 2026년에 비슷한 사례가 여럿 나왔어요 — LiteResearcher-4B(GAIA 71.3%·Xbench 78.0% 주장), 마이크로소프트의 Terminus-4B(터미널 실행에서 프론티어급 주장), 도구 호출에선 8B ToolACE가 BFCL에서 GPT-4·Claude 3.5를 넘었다는 보고까지. 좁고 명확한 에이전트 작업에서 RL 튜닝한 소형 모델이 경쟁력을 갖는 방향은 실재해요. 다만 공통된 단서가 붙어요: (1) 벤치마크가 좁고, (2) 시뮬레이션·큐레이션된 환경에서 훈련됐고, (3) 장황해서 토큰을 많이 쓰는 경향이 있어요.
Q. 그래서 Castform 사례의 진짜 한계는?가장 큰 건 단일 코퍼스 파인튜닝이에요. 훈련·평가에 GitLab 핸드북 하나만 "더미 코퍼스"로 썼어요. 이건 지식베이스마다 새로 훈련해야 하는 코퍼스별 맞춤 모델이지, GPT-5.6을 범용으로 대체하는 물건이 아니에요. 블로그 자신도 "프로덕션용이 아니다"라고 적어뒀고요. 독립 재현도 없어요 — 증거는 Castform의 자체 대시보드와 코드 예제뿐이에요.
빠진 한정어를 다 넣으면
원 주장에 생략된 조건을 전부 되살리면 이렇게 돼요. "단일 지식베이스에 파인튜닝한 4B 모델이, 자사 벤치마크에서, LLM 심판 채점으로, 추론 비용만 따졌을 때 GPT-5.6 Sol의 약 1/100." "4B가 GPT-5.6을 이겼다"와는 거리가 있죠. 그렇다고 무가치한 건 아니에요. 내부 문서 검색처럼 도메인이 좁고 고정적인 작업이라면 소형 모델 파인튜닝으로 비용을 크게 줄이는 접근은 실제로 쓸 만하고, Castform이 파는 게 정확히 그거예요. LiteResearcher나 Terminus 같은 사례가 이 방향이 마케팅만은 아니라는 걸 뒷받침하고요.
의심을 유지할 지점도 분명해요. 진짜 경쟁력이 있다면 다음 사례들은 자사 벤치마크가 아니라 BrowseComp·GAIA 같은 표준 평가에서 수치와 함께 나올 거예요. 그 전까진 "이겼다"가 아니라 "이 조건에선 쓸 만하다"가 정확한 요약이에요.
사내 RAG를 운영하는 팀이라면 실전 판단은 이래요. GPT-5.6 Sol로 다단계 검색을 돌리는 비용이 부담이고 도메인이 좁고 고정적이라면, 소형 오픈 모델 파인튜닝이 대안이 됩니다. 단, 비용은 토큰 단가가 아니라 완료 작업당 전체 비용(임베딩·검색 인프라·단계 수 포함)으로 계산하고, 정확도는 자사 LLM 심판이 아니라 사람이 만든 정답셋으로 검증해야 진짜 숫자가 나와요. 마케팅의 "100배"를 그대로 품의에 넣으면 실측에서 격차가 훨씬 작아 곤란해질 수 있으니까요.
근거가 된 소식: Castform·Neon 블로그 (원 주장), benchmax 코드 예제 (발견 경로: GeekNews)
광고
Claude Code, OpenCode 같은 AI 코딩 도구를 직접 쓰면서 AI 업계의 변화를 개발자 관점에서 기록합니다. 단순 번역이 아니라 써본 경험과 해석을 함께 남기려고 해요.
관련 글
코딩 에이전트가 잠든 사이에 일한다 — 이번 주 릴리스 세 갈래가 가리키는 같은 방향
이번 주 oh-my-opencode·Claude Code·OpenCode가 쏟아낸 릴리스를 겹쳐 보면, 경쟁이 '얼마나 잘 생성하나'에서 '사람이 안 볼 때 알아서 도느냐, 도구와 OS 경계를 넘어 살아남느냐, 한도를 거버넌스로 묶느냐'로 옮겨갔어요. 세 프로젝트가 같은 주에 같은 방향을 가리킨 게 우연이 아니라고 봐요.
Codex 요금제 정리: Business vs Enterprise 가격 차이와 크레딧 과금 (2026)
코덱스(Codex) 비즈니스 플랜과 엔터프라이즈 플랜의 가격 차이, 토큰 사용량에 연동된 크레딧 과금 방식, 모델별 크레딧 요율을 2026년 9월 공식 문서 기준으로 정리했어요. 관리자 통제 설정과 회사 도입 순서까지 함께 담았어요.
Claude Code Auto 모드 완전 가이드 — 켜는 법, 분류기 동작, 조직에서 막는 법까지
Auto 모드는 권한 프롬프트 없이 작업하되 별도 분류기가 모든 액션을 사전 검토하는 모드예요. CLAUDE_CODE_ENABLE_AUTO_MODE 환경변수는 이제 no-op이고, 저장소 설정으로는 켤 수 없고, 3연속/누적 20회 차단 시 자동 해제됩니다. 공식 문서 기준으로 활성화 조건, 기본 차단 목록, 커스텀 규칙, 관리자 통제까지 전부 정리했어요.