OpenAI 모델이 80년 묵은 수학 추측을 반증했다 — AI가 발견자가 된 사건

안녕하세요, Tom입니다.

오늘은 단순한 모델 출시나 기능 업데이트가 아니라, "AI로 진짜 수학 문제를 풀었다"는 류의 소식을 다뤄볼게요. OpenAI가 자사 모델로 80년 묵은 이산기하학 추측을 반증했다고 발표했어요. 발표 자체보다도 그 의미가 더 큰 사건이라 정리해 두고 싶어서 글을 씁니다.

Unit distance problem이 뭐길래

이번에 반증된 추측은 unit distance problem과 관련된 거예요. 단어만 보면 어렵지 않지만, 80년 동안 수학자들을 괴롭혀 온 문제예요.

문제 정의는 단순해요. "평면 위에 점 n개를 놓았을 때, 거리 1만큼 떨어진 점들의 쌍은 최대 몇 개까지 만들 수 있나?" 이걸 함수 u(n)이라고 부르는데, 이 함수의 점근적 증가율(asymptotic growth rate)이 얼마나 되는지가 80년째 미해결로 남아 있어요.

1946년에 Paul Erdős가 처음 제기한 이래로, 이 문제는 이산기하학의 가장 유명한 미해결 문제 중 하나로 자리 잡았어요. 수학자들은 여러 추측을 세우고 검증해 왔는데, 그중 하나가 이번에 반증된 거예요.

AI는 어떻게 풀었나

OpenAI 발표에 따르면, 모델이 구체적인 반례(counterexample)를 구성해서 추측이 틀렸음을 증명했어요. 수학에서 "추측을 반증한다"는 건 그 추측이 성립하지 않는 사례를 하나 찾아내는 거예요. 100만 개를 검증해도 추측을 증명하진 못하지만, 1개의 반례만 있어도 추측은 무너져요.

흥미로운 점은 모델이 사람이 시도해 본 적 없는 점 배치를 만들어냈다는 거예요. 사람이 직관적으로 생각해 본 적 없는 구성이지만, 검증해 보면 추측을 깨뜨리는 결과를 내놓은 셈이죠. 이게 단순한 "계산 보조"가 아니라 "수학적 발견"이라고 부르는 이유예요.

물론 모델이 혼자 다 한 건 아니에요. 사람 수학자가 문제를 설계하고, 모델이 제안한 반례를 형식 검증(formal verification)으로 확인하는 과정이 함께 갔어요. 하지만 핵심 아이디어와 구성 자체가 모델에서 나왔다는 점이 이전 사례들과 가장 다른 부분이에요.

왜 이게 큰 사건인가

작년부터 AI가 수학 분야에서 두각을 나타낸 사건이 몇 번 있었어요. Claude가 [[2026-01-26-claude-accelerating-science]]에서 다룬 것처럼 과학 연구를 가속하는 사례들이 늘어났고, AI 모델들이 IMO(국제수학올림피아드) 금메달급 점수를 받기도 했어요. 하지만 그건 "사람이 이미 푼 문제를 다시 푼다"는 차원이었어요. 학생용 시험 문제를 푸는 거니까요.

이번은 결이 달라요. "사람이 80년 동안 못 푼 문제에 새로운 답을 내놓았다"는 사건이에요. AI가 검증자가 아니라 발견자로 등판한 거죠. 이 차이는 매우 큽니다.

수학자 입장에서 보면 도구가 한 단계 진화한 거예요. 이전 세대 도구(Mathematica, Coq, Lean 같은)는 사람이 떠올린 아이디어를 빠르게 검증하거나 형식화하는 역할이었어요. 그런데 이제는 아이디어 자체를 모델이 제안해요. 이건 80년 묵은 문제뿐 아니라, 앞으로 풀릴 수많은 미해결 문제에 대한 새로운 접근 경로가 열렸다는 뜻이에요.

어떤 모델이 썼나

OpenAI는 이번 작업에 사용한 모델의 구체적인 이름을 강조하지 않았지만, 추론 능력에 특화된 모델 계열을 활용했다고 발표했어요. GPT-5 라인업이나 그 후속 reasoning 모델 중 하나일 가능성이 높아요. [[2026-01-26-gpt5-for-work-report]]에서 GPT-5의 실무 활용 사례를 정리한 적이 있는데, 그 모델 계열의 reasoning 변형이 학술 연구에까지 도달한 셈이에요.

DeepMind의 AlphaProof, AlphaGeometry 같은 수학 전문 모델과 비교했을 때 흥미로운 차이가 있어요. DeepMind 라인은 수학 전용 학습으로 설계됐는데, OpenAI는 범용 추론 모델로 수학 문제에 도전한 거예요. 어느 방향이 장기적으로 더 효과적인지는 앞으로 더 두고 봐야 할 것 같아요.

의미와 한계

너무 흥분하지 않으려고 균형을 잡아 보자면, 이번 사건은 다음과 같은 의미가 있어요.

좋은 점:

• AI가 수학적 발견의 주체로 등장한 첫 굵직한 사례
• 사람이 시도해 본 적 없는 구성을 만들어낸다는 점에서 진짜 "탐색"이 가능함을 보여줌
• reasoning 모델의 활용처가 수학 연구까지 확장됨

한계:

• 반증은 "하나의 반례를 찾는" 작업이라 증명보다 상대적으로 쉬움
• 사람 수학자의 문제 설정과 검증 과정이 여전히 필수
• 이 한 사례가 일반화될 수 있는지는 더 많은 사례가 쌓여 봐야 알 수 있음

그래도 이정표는 분명히 세워졌어요. 앞으로 다른 미해결 문제에도 같은 방식으로 도전이 이어질 거고, 그중 일부는 또 진전을 만들어낼 가능성이 커요. 수학자들 입장에서는 이제 AI를 "같이 일하는 동료"로 인정하지 않을 수 없는 시점이 온 거예요.

총평

AI 분야의 큰 흐름 중 하나가 "에이전트로 일을 끝낸다"였다면, 이번 사건은 다른 축이에요. "AI가 새로운 지식을 생산한다"는 축이죠. 두 흐름이 같이 가면 결국 우리가 AI를 다루는 방식 자체가 바뀔 거예요.

참고: 이번 발표가 학술 논문으로 정식 출판되는 건 별도 절차를 거칠 예정이라고 해요. 정식 검증과 동료평가가 끝나야 학계에서도 인정받는 결과가 되니까, 더 자세한 내용은 그때 다시 다뤄보면 좋겠어요.

---

원문: An OpenAI model has disproved a central conjecture in discrete geometry