MoE 태그 글 모음

MoE 아키텍처 해설: DeepSeek V4가 1.6조 파라미터인데 싸게 돌아가는 이유

Mixture of Experts 아키텍처를 쉽게 풀어봤습니다. 1.6조 파라미터 중 490억만 활성화하는 구조가 어떻게 가격 대비 성능 3~5배 개선을 만드는지 알아봤어요.