꿀G한국 게시판 인기글
← 피드/클리앙

[잡설] 요즘의 LLM이 가는 방향에 조금 회의감이 들고 AGI는 만들어지는게 아닐지도 모른다 생각이 듭니다

AGI, ASI 말이 많이 나오다가 요즘엔 그 달성 방법으로 자가 개선 루프 이야기가 많이 나오더군요. 그래서  RSI, 즉 Recursive Self-Improvement에 대해 생각을 좀 해보고 있습니다. 일반적으로 RSI라고 하면 하나의 AI가 자기 자신을 개선하고, 그 개선된 AI가 다시 자기 자신을 개선하면서 지능 폭발로 이어지는 그림을 많이 떠올립니다. 그런데 저는 이 그림이 조금 단일 모델 중심적이지 않나 하는 생각이 듭니다. 지금 LLM을 보면 지능과 기억이 너무 한 덩어리로 붙어 있습니다. 세상 지식, 추론 패턴, 언어 습관, 도구 사용 방식 등이 전부 파라미터 안에 섞여 있고, 추론할 때도 거대한 덩어리를 통째로 돌리는 느낌입니다. 이 구조 자체가 굉장히 비효율적으로 보입니다. 미래에는 이게 분리될 가능성이 높다고 봅니다. 작고 빠른 추론 코어, 외부화된 기억, 도구 사용 에이전트, 검증자, 비판자, 실험자, 조정자가 따로 존재하고, 이들이 네트워크처럼 연결되는 식이 될 수 있습니다. 즉 지금의 MoE가 모델 내부 expert를 일부 활성화하는 수준이라면, 앞으로는 훨씬 확장된 형태의 MoE가 될 수 있다고 봅니다. 여러 LLM과 에이전트가 병렬로 계속 돌고, 서로 통신하고, 검증하고, 반박하고, 재조합되는 구조입니다. (우리의 뇌가 느린 속도에도 불구하고 이런 병렬성으로 실시간 결과를 처리하고 있죠) 그런데 여기서 핵심은 개별 모델의 성능보다, 이 전체를 조율하는 오케스트레이터라고 생각합니다. 다만 이 오케스트레이터도 단순히 “가장 효율적으로 일을 배분하는 관리자”여서는 안 될 것 같습니다. 저는 진짜 큰 효율성은 오히려 비효율성, 더 정확히는 창의성과 창발성에서 나온다고 봅니다. (그래서 지금의 LLM의 벤치마크 기준 향상은 결국 AGI로 가는데 한계가 있을 것 같아 보입니다) 진화가 그렇듯이요. 진화에는 궁극적 목표가 없습니다. 자연선택도 어떤 이상적 생명체를 만들기 위한 계획이 아니라, 외부 압력 아래에서 어떤 구조가 남는 사건일 뿐입니다. 생존이나 적응도 사후적으로 우리가 붙인 해석에 가깝고요. 그래서 미래의 AGI도 “목표를 가진 하나의 초지능”이라기보다, 다양한 LLM과 에이전트들이 외부 압력 속에서 변이, 선택, 기억, 재조합을 반복하다가 창발하는 생태계적 현상일 수 있지 않을까 싶습니다. 이를 위해서는 큰 진화 엔진 같은 것이 필요할 것 같습니다. 그 엔진 위에 여러 LLM과 에이전트를 태우고, 서로 다른 생태계 압력을 주는 겁니다. 예를 들면 어떤 생태계에서는 빠르고 작고 저렴한 모델이 살아남게 합니다. 다른 생태계에서는 느리더라도 깊은 추론을 잘하는 모델이 살아남게 합니다. 또 다른 생태계에서는 이상한 가설, 창의적 조합, 기존 평가 기준에서 벗어난 시도가 보존되게 합니다. 어떤 생태계에서는 견고성, 검증 능력, 협업 능력이 선택되게 할 수도 있고요. 중요한 건 단일 점수로 모든 걸 평가하지 않는 것입니다. 하나의 benchmark나 하나의 reward로 평가하면 결국 그 점수에 과적합된 종만 남을 가능성이 큽니다. 생태계가 아니라 시험 잘 보는 시스템이 되는 거죠. 그래서 여러 선택압을 가진 생태계를 병렬로 두고, 그 사이에 제한적인 이주와 재조합을 허용해야 한다고 봅니다. 빠른 생태계에서 살아남은 전략이 깊은 추론 생태계로 이동할 수 있고, 깊은 추론 생태계에서 나온 검증 방식이 작은 모델 생태계로 압축될 수 있고, 창의 생태계에서 나온 이상한 아이디어가 견고성 생태계에서 테스트될 수 있습니다. 이 과정에서 진짜 창발성이 생길 수 있지 않을까 싶습니다. 결국 제가 생각하는 AGI는 누군가가 완성하는 하나의 모델이라기보다, 다종 LLM 생태계가 인간 사회, 비용 구조, 도구 환경, 규제, 사용자 선택, 계산 자원 같은 외부 압력에 적응하면서 어느 순간 AGI처럼 행동하기 시작하는 현상에 가깝습니다. 말하자면 AGI는 만들어지는 것이 아니라 진화하는 것일 수 있습니다. 그리고 RSI의 점화 조건도 “모델 하나가 자기 weight를 잘 고칠 수 있느냐”가 아니라, 이런 생태계 엔진이 자기 자신의 선택압, 에이전트 구성, 기억 구조, 재조합 방식을 계속 바꿔갈 수 있느냐에 달려 있지 않을까 싶습니다. 아직은 막연한 생각이지만, 최근의 open-endedness, quality-diversity, multi-agent self-evolution, Darwin Gödel Machine 같은 연구들을 보면 완전히 뜬구름은 아닌 것 같습니다. 정리하면 제 생각은 이렇습니다. 미래 AGI는 단일 초거대 모델이 아니라, 여러 LLM과 에이전트가 이루는 진화 생태계에서 창발할 수 있다. 그 생태계에는 목표가 아니라 외부 압력이 존재한다. 선택과 진화는 목적이 아니라 사건이다. 따라서 AGI 연구의 핵심은 더 큰 모델 하나를 만드는 것뿐 아니라, 어떤 생태계와 어떤 선택압을 설계할 것인가가 될 수 있다. 이런 방향이 꽤 중요한 연구 주제가 되지 않을까 싶습니다. 그래서 LLM의 다음이 Physical AI가 아니라 사실은 LLM 진화 시스템이 되어야 진정한 도약이 되지 않을까 그렇게 생각이 듭니다.

출처1개 보드

  • 클리앙

오늘의 인기 (TOP 50)

  1. 1에컴 시리즈가 짜친다 비현실적이다 소리 들어도 가상세계+거대병기 넣는 이유

    에컴 시리즈가 짜친다 비현실적이다 소리 들어도 가상세계+거대병기 넣는 이유

  2. 2

    오레오 호떡맛 BTS 한정판인가?

  3. 3

    아까 주식 종가에 주우려다가 못샀는데 ㅠㅠ

  4. 4

    블루아카) 이번 페이백 아쉬운점

  5. 58만 8천원짜리 피규어

    8만 8천원짜리 피규어

  6. 6

    고정비추 신경 안쓸려고 노력중인데

  7. 7실제로 주식 환불 받은사람

    실제로 주식 환불 받은사람

  8. 8

    근데 정말 몰라서 그러는데 김민석계가 누구인가요?

  9. 9

    이 세상이 너무 모순된거 같다

  10. 10말딸] 우라라 그린거 보구가

    말딸] 우라라 그린거 보구가

  11. 11

    이환)으럇으럇 참기 lv:max.gif

  12. 12[림버스] 리카르도 사영전투 1페는 진짜 중지덱 편애 수준이내

    [림버스] 리카르도 사영전투 1페는 진짜 중지덱 편애 수준이내

  13. 13명조) 스토리 라하이 로이 먼저하고 리나시타 미니까 자꾸 찐빠가 보이네ㅋㅋㅋ

    명조) 스토리 라하이 로이 먼저하고 리나시타 미니까 자꾸 찐빠가 보이네ㅋㅋㅋ

  14. 14라오) 엌ㅋㅋ 에프넬 걍 주는 거였구나

    라오) 엌ㅋㅋ 에프넬 걍 주는 거였구나

  15. 15시부럴 피곤해서 옷입은 상태로 기절했다 깼네...

    시부럴 피곤해서 옷입은 상태로 기절했다 깼네...

  16. 16스팀) 출시 캘린더 기능 새로 생긴거 같은데 많이 이상하네

    스팀) 출시 캘린더 기능 새로 생긴거 같은데 많이 이상하네

  17. 17스토킹 피해자가 스토킹 가해자 만나는 사진

    스토킹 피해자가 스토킹 가해자 만나는 사진

  18. 18하겐다즈는 수입이라 비싸다 어쩔수 없다?

    하겐다즈는 수입이라 비싸다 어쩔수 없다?

  19. 19명조) 그래서 넌 진짜 뭐하는거니?

    명조) 그래서 넌 진짜 뭐하는거니?

  20. 20바이오쇼크.jpg

    바이오쇼크.jpg

  21. 21

    음식이 바닥에 떨어질 때 대처 방법

  22. 22

    007 퍼스트라이트 다깼다

  23. 23

    첫 주행에 경찰한테 단속 당한 16살 ㄷㄷ

  24. 24베글 결혼식vs돌잔치 보고 생각나서 가져온 결혼식vs운동회

    베글 결혼식vs돌잔치 보고 생각나서 가져온 결혼식vs운동회

  25. 25

    혹시 무당이나 점을 본적 있으신 분 계신가요?

  26. 26

    블루아카) 내가 년에 대충 50만원은 넘게 지르는거 같은디

  27. 27

    사펑 엣지러너 영어 더빙판 최고의 명대사

  28. 28

    오창석 발언 문제는 옆에 황희두가 있었다는 거죠

  29. 29진짜 귀여운 미아 한장

    진짜 귀여운 미아 한장

  30. 30

    고양이 반응속도

  31. 31트릭컬) 언더돌의 은밀한 언더웨어 .rkgk

    트릭컬) 언더돌의 은밀한 언더웨어 .rkgk

  32. 32한국 시장을 매우 신경쓰는 일본 게임회사

    한국 시장을 매우 신경쓰는 일본 게임회사

  33. 33

    김어준은 요즘 계속 연패중이죠?

  34. 341940~70년대 신문물을 경험하시는 어르신들

    1940~70년대 신문물을 경험하시는 어르신들

  35. 35"야 노진구 네토라레물 하나 그리라고 한게 뭐가 그리 대수라고 그러냐."

    "야 노진구 네토라레물 하나 그리라고 한게 뭐가 그리 대수라고 그러냐."

  36. 36

    잡담] 과연 지난 선거 전 우리의 지지율이 정확했을까요

  37. 37가끔씩 유게이들에게 감탄하게 되는 경우

    가끔씩 유게이들에게 감탄하게 되는 경우

  38. 38

    정의당의 거리

  39. 39김성주: "느그.."

    김성주: "느그.."

  40. 40사펑) 어떻게든 데이비드를 살리려는 친구

    사펑) 어떻게든 데이비드를 살리려는 친구

  41. 41

    이동형이 하정우 후보에 매일 전화하며 코치했다면서요

  42. 42

    사고 말고 고장난 오토바이도 중고거래 하나??

  43. 43

  44. 44

    귀무자) 검의 길 좀 애매하다

  45. 45팔얼블은 과충전 방지 없나배

    팔얼블은 과충전 방지 없나배

  46. 46오창석은 이동형의 치와와

    오창석은 이동형의 치와와

  47. 47

    수어는 태어나서 처음듣네

  48. 48블루아카) 스토리 티페레트 왜 어렵냐

    블루아카) 스토리 티페레트 왜 어렵냐

  49. 49드디어 버추어 파이터에 한국 캐릭터 나오나

    드디어 버추어 파이터에 한국 캐릭터 나오나

  50. 50

    김진애 거짓말하고 다니시네요