메모리 사용을 줄이는 AI 훈련 논문을 소개해봅니다.

흥미로운 AI기업 중에 주목할 만 하지만 검증이 많이 필요한... 아직은 구체적인 무언가로 다가오지 않는... 곳들이 몇 곳 있습니다. 대표적인 경우로는.. 제파가 있겠고, 사카나AI도 그런 곳 중 하나입니다. https://pub.sakana.ai/diffusionblocks/ 이러한 정보를 소개 할 때는 그것이 얼마나 깊이 있는 단계로 나아갔는지 보다 소개 자체의 의의를 두었으면 좋겠습니다. 저도 잘 모르고, 아는 분들에게 도움이 될 수 있는 정보로... 그럼에도 간단하게 요약을 해보자면, 모델 학습을 하다 보면 뻑이 날 때가 있죠. 모델의 층이 깊어 질 수록 기하급수적으로 메모리 사용량이 늘어나게 됩니다. 이에 전체 층의 동시 학습이 아닌 신경망을 여러 블록으로 쪼개어 하나씩 따로 따로 학습하는 방법을…