"4B 모델이 검색에서 GPT-5.6을 100배 싸게 이겼다"는 주장, 뜯어봤습니다
한줄평
이 주장은 '4B 모델이 GPT-5.6을 이겼다'가 아니라 '단일 지식베이스에 파인튜닝한 4B 모델이, 자사 벤치마크에서, LLM 심판 기준으로, 추론 비용만 따지면 GPT-5.6 Sol의 1/100'이라는 훨씬 좁은 이야기예요. 좁은 도메인 에이전트 검색에서 소형 모델이 경쟁력 있다는 방향은 진짜지만, 수치 없는 차트와 자사 심판이라는 함정은 그대로 봐야 합니다.
"강화학습으로 후처리한 4B 오픈 모델이 검색에서 GPT-5.6 Sol과 같은 정확도를, 1/100 비용에." GeekNews에 올라온 이 주장이 개발자들 사이에서 화제였어요. 사실이면 API 비용 구조를 뒤집을 이야기죠. 그래서 원 자료(Castform과 Neon의 공동 블로그, 그리고 GitHub 코드 예제)를 직접 확인했어요. 결론부터 말하면 진실과 마케팅이 섞여 있어요. 어느 쪽이 어느 쪽인지, 실제로 궁금할 질문 순서대로 문답으로 정리했습니다.
Q. Castform이 뭔가요? 새 모델인가요?아니요. 모델이 아니라 스타트업이자 RL 후처리 플랫폼이에요. ML이나 GPU 전문성 없이 오픈 웨이트 모델을 강화학습으로 후처리하게 해주는 도구고, benchmax라는 오픈소스 SDK(Apache-2.0)를 같이 냈어요. 이번 주장은 Castform이 서버리스 Postgres 업체 Neon과 함께 낸 마케팅 글이에요. 이 점이 첫 번째 판단 기준이에요 — 검증하는 제3자가 아니라, 파는 두 회사가 자기 제품으로 자기 제품을 홍보한 글입니다.
Q. 그럼 "4B 모델"의 정체는?베이스는 Qwen3.5-4B예요(코드 예제 TRAINING_ARGS에서 확인). 이걸 Castform으로 후처리한 거고요. Qwen3.5-4B 자체는 오픈 웨이트지만, 후처리한 결과 모델의 가중치를 공개했다는 언급은 없어요. 즉 "오픈 모델로 했다"와 "결과물이 오픈이다"는 다른 얘기예요.
Q. "GPT-5.6 Sol급 정확도"는 무슨 벤치마크로 잰 건가요?여기가 핵심 함정이에요. BrowseComp 같은 표준 에이전트 검색 벤치마크가 아니에요. Neon 자체 벤치마크이고, 정답 채점이 LLM 심판(gpt-5.4-mini)이 "정확성·검색 품질·인용·간결성"을 점수 매기는 방식이에요. 다시 말해 "정확도"가 객관적 정답 일치율이 아니라 다른 AI가 매긴 주관적 점수예요. 그리고 블로그에는 숫자가 하나도 없어요. 축 라벨 없는 차트 두 개("추론 비용 vs 평균 평가 보상")만 있고, 정확도 수치도, 표도 없어요. 주장을 검증하려는 독자에게 검증할 대상 숫자를 안 준 거예요.
Q. "100배 싸다"는 건 그럼 거짓인가요?거짓은 아닌데, 가장 유리하게 자른 숫자예요. 세 가지를 알아야 해요. 첫째, 이건 추론 비용만이에요 — RL 훈련 GPU 비용, 임베딩·Postgres 검색 인프라 비용은 뺐어요. 둘째, 비교 대상이 GPT-5.6 Sol, 즉 제일 비싼 최상위 티어($5/$30)예요. OpenAI에도 더 싼 Terra·Luna가 있는데 굳이 Sol과 비교한 거죠. 셋째, 에이전트 검색은 여러 단계를 도는데 각 단계가 LLM 호출이라, 값싼 토큰의 소형 모델이 단계 수가 늘면 전체 비용은 생각만큼 안 줄어요. 업계 자료로도 "이제 단위는 프롬프트당 비용이 아니라 완료 작업당 비용"이에요. 토큰당 100배 싸다 ≠ 작업당 100배 싸다.
Q. 그래도 4B가 특정 작업에서 대형을 이긴다는 건 사실 아닌가요?이건 진짜예요, 그리고 Castform만의 이야기도 아니에요. 2026년에 비슷한 사례가 여럿 나왔어요 — LiteResearcher-4B(GAIA 71.3%·Xbench 78.0% 주장), 마이크로소프트의 Terminus-4B(터미널 실행에서 프론티어급 주장), 도구 호출에선 8B ToolACE가 BFCL에서 GPT-4·Claude 3.5를 넘었다는 보고까지. 좁고 명확한 에이전트 작업에서 RL 튜닝한 소형 모델이 경쟁력을 갖는 방향은 실재해요. 다만 공통된 단서가 붙어요: (1) 벤치마크가 좁고, (2) 시뮬레이션·큐레이션된 환경에서 훈련됐고, (3) 장황해서 토큰을 많이 쓰는 경향이 있어요.
Q. 그래서 Castform 사례의 진짜 한계는?가장 큰 건 단일 코퍼스 파인튜닝이에요. 훈련·평가에 GitLab 핸드북 하나만 "더미 코퍼스"로 썼어요. 이건 지식베이스마다 새로 훈련해야 하는 코퍼스별 맞춤 모델이지, GPT-5.6을 범용으로 대체하는 물건이 아니에요. 블로그 자신도 "프로덕션용이 아니다"라고 적어뒀고요. 독립 재현도 없어요 — 증거는 Castform의 자체 대시보드와 코드 예제뿐이에요.
빠진 한정어를 다 넣으면
원 주장에 생략된 조건을 전부 되살리면 이렇게 돼요. "단일 지식베이스에 파인튜닝한 4B 모델이, 자사 벤치마크에서, LLM 심판 채점으로, 추론 비용만 따졌을 때 GPT-5.6 Sol의 약 1/100." "4B가 GPT-5.6을 이겼다"와는 거리가 있죠. 그렇다고 무가치한 건 아니에요. 내부 문서 검색처럼 도메인이 좁고 고정적인 작업이라면 소형 모델 파인튜닝으로 비용을 크게 줄이는 접근은 실제로 쓸 만하고, Castform이 파는 게 정확히 그거예요. LiteResearcher나 Terminus 같은 사례가 이 방향이 마케팅만은 아니라는 걸 뒷받침하고요.
의심을 유지할 지점도 분명해요. 진짜 경쟁력이 있다면 다음 사례들은 자사 벤치마크가 아니라 BrowseComp·GAIA 같은 표준 평가에서 수치와 함께 나올 거예요. 그 전까진 "이겼다"가 아니라 "이 조건에선 쓸 만하다"가 정확한 요약이에요.
사내 RAG를 운영하는 팀이라면 실전 판단은 이래요. GPT-5.6 Sol로 다단계 검색을 돌리는 비용이 부담이고 도메인이 좁고 고정적이라면, 소형 오픈 모델 파인튜닝이 대안이 됩니다. 단, 비용은 토큰 단가가 아니라 완료 작업당 전체 비용(임베딩·검색 인프라·단계 수 포함)으로 계산하고, 정확도는 자사 LLM 심판이 아니라 사람이 만든 정답셋으로 검증해야 진짜 숫자가 나와요. 마케팅의 "100배"를 그대로 품의에 넣으면 실측에서 격차가 훨씬 작아 곤란해질 수 있으니까요.
근거가 된 소식: Castform·Neon 블로그 (원 주장), benchmax 코드 예제 (발견 경로: GeekNews)
광고
Claude Code, OpenCode 같은 AI 코딩 도구를 직접 쓰면서 AI 업계의 변화를 개발자 관점에서 기록합니다. 단순 번역이 아니라 써본 경험과 해석을 함께 남기려고 해요.
관련 글
코딩 에이전트가 잠든 사이에 일한다 — 이번 주 릴리스 세 갈래가 가리키는 같은 방향
이번 주 oh-my-opencode·Claude Code·OpenCode가 쏟아낸 릴리스를 겹쳐 보면, 경쟁이 '얼마나 잘 생성하나'에서 '사람이 안 볼 때 알아서 도느냐, 도구와 OS 경계를 넘어 살아남느냐, 한도를 거버넌스로 묶느냐'로 옮겨갔어요. 세 프로젝트가 같은 주에 같은 방향을 가리킨 게 우연이 아니라고 봐요.
Codex 기업 도입 가이드 — 플랜 선택, 크레딧 과금, 관리자 통제, 국내 사례까지
기업에서 Codex를 도입할 때 실제로 부딪히는 질문들을 공식 문서 기준으로 정리했어요. Business와 Enterprise의 차이, 4월에 바뀐 크레딧 과금의 구조와 자동 충전 함정, requirements.toml 관리형 통제, 삼성·삼성SDS로 이어지는 국내 도입 지형까지 — 도입 품의에 바로 쓸 수 있는 수준으로요.
Claude Code Auto 모드 완전 가이드 — 켜는 법, 분류기 동작, 조직에서 막는 법까지
Auto 모드는 권한 프롬프트 없이 작업하되 별도 분류기가 모든 액션을 사전 검토하는 모드예요. CLAUDE_CODE_ENABLE_AUTO_MODE 환경변수는 이제 no-op이고, 저장소 설정으로는 켤 수 없고, 3연속/누적 20회 차단 시 자동 해제됩니다. 공식 문서 기준으로 활성화 조건, 기본 차단 목록, 커스텀 규칙, 관리자 통제까지 전부 정리했어요.