"한국은 프런티어 AI 경쟁에 못 뛰어든다"는 말을 자주 듣습니다. 미국과 중국의 자본력, 빅테크의 인재풀, 수십조 원짜리 클러스터 앞에서 한국은 애초에 체급이 다르다는 거죠. 그럴듯하게 들리지만, 이 주장은 숫자를 하나씩 따져보면 성립하지 않습니다. 프런티어 모델 개발에 필요한 것은 결국 네 가지입니다. 컴퓨트, 하드웨어 접근성, 인재, 데이터. 하나씩 보겠습니다.
[1] 컴퓨트: 판은 이미 깔리고 있습니다
프런티어급 모델이 실제로 얼마나 큰 자원을 요구하는지 계산해보겠습니다. 10T 파라미터 MoE(활성 275B) 모델을 300T 토큰으로 학습한다고 가정하면 필요 연산량은 약 5×10^26 FLOPs, GPT-4의 대략 25배 규모입니다. 이 10T라는 가정은 임의의 숫자가 아닙니다. 지금 화제인 차세대…
원문 보기 →