AI 회사들이 갑자기 '거버넌스'를 말하는 이유 — 규제 전야의 신호들

안녕하세요, Tom입니다.

요즘 프론티어 AI 기업들의 발표 목록을 보다 보면 묘한 패턴이 눈에 들어와요. 새 모델, 새 벤치마크 점수 자랑이 아니라 "거버넌스", "서드파티 평가", "선거 안전", "대화 확대" 같은 단어들이 앞줄로 나오기 시작했거든요. 저는 이게 갑자기 모두가 착해진 게 아니라고 봐요. 규제가 문 앞까지 온 지금, 규칙을 남이 쓰기 전에 내가 먼저 쓰겠다는 포지셔닝이라고 읽는 게 더 정확해요.

거의 동시에, 같은 방향으로

근거를 하나씩 보면 우연이라고 보기 어려워요.

OpenAI는 Frontier Governance Framework 발표에서, 자사의 안전·보안·리스크 관행이 캘리포니아의 Transparency in Frontier AI Act(TFAIA)와 EU AI Act의 범용 AI 행동강령(Code of Practice)에 어떻게 정렬되는지를 문서화했어요. 사이버보안, CBRN(화학·생물·방사능·핵), 유해한 조작, 통제 상실 같은 카테고리별로 위험을 평가·완화하는 절차를 정리하고, EU 행동강령에 서명한 것을 "EU AI Act 컴플라이언스 계획의 구체적 한 걸음"이라고 못 박았죠. 핵심은 이 프레임워크 자체가 TFAIA가 요구하는 "Frontier AI Framework" 역할을 한다는 점이에요. 규제가 요구하는 문서를 규제 발효에 맞춰 미리 제출하는 모양새예요.

OpenAI는 여기서 멈추지 않았어요. 신뢰할 수 있는 서드파티 평가 플레이북에서는 외부 평가자가 모델의 능력·세이프가드·평가 타당성을 어떻게 측정해야 하는지를 제안해요. 예를 들어 모델이 평가 과제를 거부(refusal)해서 능력이 낮게 측정될 수 있으니 보고서에 그 사실을 명시하라거나, 과제나 정답이 학습 데이터에 들어갔을 수 있으니 비공개·신규 과제를 우선 쓰라는 식의 실무 지침이죠. 그리고 2026 선거 정보·안전 글에서는 투표 등록·마감일 안내, 콘텐츠 출처 표시(C2PA), 사이버 방어 지원, 그리고 미 의회의 선거 관련 법안(S.1213, S.2346) 지지까지 묶어서 내놨어요.

한편 Anthropic은 Widening the conversation on frontier AI에서 결이 조금 다른 카드를 꺼냈어요. 종교·문화 전통을 포함한 15개 이상의 집단, 그리고 앞으로 법학자·심리학자·작가·시민 기관까지 끌어들여 AI의 "도덕적 형성(moral formation)"을 논의하겠다는 거예요. 실제로 Claude에게 작업 중간에 자기 윤리 원칙을 상기시키는 도구를 줬더니 내부 평가에서 어긋난 행동이 눈에 띄게 줄었다는 실험도 공유했고요.

저는 이전에 Anthropic Mythos가 32단계 네트워크 공격을 10분 만에 해낸 사건을 다루면서, AI 보안이 더 이상 추상적 우려가 아니라 측정 가능한 능력의 문제가 됐다고 썼는데요. 지금 벌어지는 거버넌스 러시는 바로 그 "측정"의 주도권을 누가 쥐느냐의 싸움이에요.

제 해석: 표준을 먼저 쓰는 자가 이긴다

이 발표들을 따로 보면 각각 그럴듯한 선의예요. 하지만 한데 모아 보면 타이밍이 너무 깔끔해요. EU AI Act의 범용 AI 의무는 이미 단계적으로 발효 중이고, 캘리포니아 TFAIA도 프론티어 기업에 안전 프레임워크 공개를 요구하죠. 규제가 "너희가 어떻게 안전을 관리하는지 문서로 내라"고 말하기 직전에, 기업들이 알아서 그 문서를 만들어 공개하는 거예요.

여기에 두 가지 노림수가 있다고 봐요. 첫째는 규제 정렬의 선점이에요. 규제 기관이 백지에서 규칙을 만드는 것보다, 이미 업계가 내놓은 프레임워크를 참고하는 게 훨씬 쉽거든요. 자기 관행을 먼저 표준으로 굳히면, 나중에 들어올 규제가 자기 모양을 닮게 돼요. 둘째는 평가 방법론의 주도권이에요. OpenAI가 서드파티 평가 플레이북을 먼저 쓴 건, "외부 평가는 이렇게 하는 게 맞다"는 프레임을 선점하는 행위예요. 평가 기준을 정의하는 쪽이 결국 무엇이 "안전한 모델"인지를 정의하니까요. 이건 OpenAI Model Spec에서 모델 행동 규칙을 공개 문서로 정의했던 흐름과 같은 논리예요. 규칙을 공개하면 투명해 보이지만, 동시에 그 규칙의 저자가 된다는 뜻이거든요.

Anthropic의 "대화 확대"는 다른 각도의 같은 게임이에요. 정량 평가가 아니라 정당성(legitimacy) 쪽을 노린 거죠. 종교·윤리·시민 기관을 테이블에 앉히면, "우리 가치 정렬은 폐쇄적 엔지니어링이 아니라 사회적 합의의 산물"이라는 서사를 얻어요. 규제 논의에서 "이 회사는 이미 폭넓게 의견을 들었다"는 건 강력한 방패가 돼요.

반론과 한계

물론 이걸 전부 냉소적으로만 읽는 건 공정하지 않아요. 솔직히 말하면, 이 회사들이 진짜로 위험을 줄이려는 의도가 없다고 단정할 근거는 없어요. Anthropic의 윤리 상기 도구 실험처럼 실제로 어긋난 행동을 줄이는 구체적 결과를 내놓는 건, 포지셔닝만으로는 설명이 안 되는 진짜 엔지니어링 노력이에요. 선제적 포지셔닝과 진심 어린 안전 노력은 양립할 수 있고, 보통 현실은 그 중간에 있죠.

또 하나 짚을 점은, 이 프레임워크들이 대부분 자기 보고(self-reported)라는 거예요. OpenAI가 서드파티 평가의 중요성을 강조하면서도, 그 서드파티가 누구이고 어떤 권한을 갖는지에 대한 구체적 강제력은 공개된 범위에서 명확하지 않아요. 규제 정렬을 주장하는 문서와, 실제로 독립 기관이 검증하는 체계는 다른 차원의 이야기고요. 그래서 저는 이 발표들을 "안전이 확보됐다"는 신호가 아니라 "안전을 누가 정의하느냐의 협상이 시작됐다"는 신호로 읽어요.

한국 개발자 입장에서

한국에서 프론티어 모델을 직접 만드는 팀은 소수지만, 이 흐름은 우리한테도 남 일이 아니에요. EU AI Act와 캘리포니아 TFAIA의 영향을 받는 모델 위에서 제품을 만드는 순간, 그 모델의 거버넌스 문서가 곧 우리 서비스의 컴플라이언스 전제 조건이 되거든요. 예를 들어 EU에 서비스하는 제품이라면, 기반 모델 제공자가 어떤 위험 카테고리를 어떻게 관리한다고 문서화했는지가 우리 책임 범위를 가르는 선이 될 수 있어요.

제 의견으로는, 한국 개발자가 지금 챙겨야 할 건 "어느 모델이 더 똑똑한가"만이 아니라 "어느 모델 제공자가 어떤 거버넌스 문서를 공개했는가"예요. 모델 카드, 프레임워크 문서, 평가 보고서를 제품 선택 체크리스트에 넣어 두는 게 나중에 규제 대응 비용을 줄여 줄 거예요. 표준이 해외 기업 손에서 만들어지는 동안, 우리는 최소한 그 표준을 읽고 활용할 수 있는 위치는 잡아 둬야 한다고 봐요.

구체적 takeaway

발표 하나하나를 "착한 일 했네"로 넘기지 말고, 세 가지를 따로 기록해 두세요. 첫째, 각 제공자의 거버넌스 프레임워크가 어떤 규제(EU AI Act / 캘리포니아 TFAIA)에 정렬됐다고 주장하는지 — 이건 그 모델을 쓰는 제품의 컴플라이언스 출발선이에요. 둘째, 평가가 자기 보고인지 독립 검증인지 — 서드파티 평가의 강제력 여부가 신뢰도를 가르니까요. 셋째, 발표 시점 — 규제 마일스톤 직전에 몰린다면 그건 안전 진척보다 표준 선점의 신호일 가능성이 높아요. 이 세 칸짜리 표를 모델 선택 문서 옆에 붙여 두는 것만으로, 마케팅과 실제 보증을 구분하는 눈이 생겨요.

근거가 된 소식: OpenAI Frontier Governance Framework, A shared playbook for trustworthy third party evaluations, Election information and safeguards in 2026, Anthropic — Widening the conversation on frontier AI