[잡설] 요즘의 LLM이 가는 방향에 조금 회의감이 들고 AGI는 만들어지는게 아닐지도 모른다 생각이 듭니다

AGI, ASI 말이 많이 나오다가 요즘엔 그 달성 방법으로 자가 개선 루프 이야기가 많이 나오더군요. 그래서  RSI, 즉 Recursive Self-Improvement에 대해 생각을 좀 해보고 있습니다. 일반적으로 RSI라고 하면 하나의 AI가 자기 자신을 개선하고, 그 개선된 AI가 다시 자기 자신을 개선하면서 지능 폭발로 이어지는 그림을 많이 떠올립니다. 그런데 저는 이 그림이 조금 단일 모델 중심적이지 않나 하는 생각이 듭니다. 지금 LLM을 보면 지능과 기억이 너무 한 덩어리로 붙어 있습니다. 세상 지식, 추론 패턴, 언어 습관, 도구 사용 방식 등이 전부 파라미터 안에 섞여 있고, 추론할 때도 거대한 덩어리를 통째로 돌리는 느낌입니다. 이 구조 자체가 굉장히 비효율적으로 보입니다. 미래에는 이…