OpenAI Harness팀의 실험: 코드 0줄 직접 작성, Codex만으로 제품 만들기

안녕하세요, Tom입니다.

이번에 소개할 글은 OpenAI 엔지니어링팀이 직접 공유한 에이전트 퍼스트 개발 경험기예요. 5개월 동안 수동으로 작성한 코드 0줄, 100% Codex가 생성한 코드로 실제 제품을 만들었다는 내용인데, 읽으면서 꽤 충격 받았습니다.

실험의 핵심: 인간은 방향을 잡고, 에이전트가 실행한다

OpenAI Harness팀은 의도적으로 "코드를 직접 작성하지 않겠다"는 제약을 걸었어요. 빈 git 저장소에서 시작해서 5개월 만에 약 100만 줄의 코드, 1,500개 이상의 PR을 만들어냈습니다.

🎯 놀라운 숫자:

💡 핵심 인사이트: 초기에는 예상보다 느렸대요. Codex 능력 부족이 아니라, 환경이 충분히 명시적이지 않았기 때문이었습니다.

코드를 직접 작성하지 않으니 엔지니어의 역할이 완전히 바뀌었어요:

⚠️ 제가 특히 인상적이었던 부분: 무언가 실패하면 "더 열심히 해봐"가 아니라, "어떤 능력이 부족한가? 에이전트가 이해하고 실행할 수 있도록 어떻게 만들까?"를 물었다는 점이에요.

하나의 거대한 AGENTS.md에 모든 지시사항을 넣는 방식은 실패했다고 해요:

대신 AGENTS.md를 약 100줄짜리 목차로 만들고, 실제 지식은 docs/ 디렉토리에 구조화해서 관리했어요. Progressive disclosure — 에이전트에게 지도를 주되, 1,000페이지 매뉴얼은 주지 않는 거죠.

완전히 에이전트가 생성한 코드베이스이기 때문에, 인간이 아닌 Codex의 가독성을 최우선으로 최적화했어요.

💡 핵심 원칙: 에이전트가 컨텍스트 내에서 접근할 수 없는 정보는 존재하지 않는 것과 같다.

그래서 모든 의사결정, 아키텍처 패턴, 코딩 규칙을 저장소 안에 마크다운으로 기록했어요.

에이전트한테 자유를 주되, 경계는 엄격하게 관리했어요:

🤔 제 생각: 보통 팀이 수백 명일 때나 하는 아키텍처 투자를 초기부터 했다는 게 인상적이에요. 에이전트 환경에서는 이런 제약이 오히려 속도를 높여주는 거죠.

최근에는 단일 프롬프트로 Codex가 end-to-end로 기능을 완성하는 수준까지 도달했대요:

⚠️ 현실적 주의: 이건 이 특정 저장소의 도구와 구조에 크게 의존하는 결과예요. 아직 일반화하기는 어렵습니다.

에이전트가 기존 패턴을 복제하면서 품질이 서서히 떨어지는 문제도 있었어요. 처음에는 매주 금요일(주의 20%)을 "AI slop 청소"에 썼는데, 당연히 확장되지 않았죠.

대신 "golden principles"를 저장소에 인코딩하고, 주기적으로 백그라운드 Codex 태스크가 스캔해서 수정 PR을 올리는 방식으로 전환했어요. 기술 부채의 가비지 컬렉션이라 할 수 있습니다.

이 글은 AI 코딩 도구의 미래를 보여주는 중요한 사례예요. 단순히 "AI가 코드를 써준다"가 아니라, 개발팀의 역할 자체가 재정의되는 과정을 보여줍니다.

💰 핵심 교훈:

에이전트 퍼스트 개발에 관심 있으시다면 꼭 원문을 읽어보세요. 구체적인 디렉토리 구조와 운영 방식까지 공개되어 있어서 참고할 게 많습니다.