모델은 GPT를 Oauth 물려 쓰고 있구요 (매달 15만원씩 나갑니다;;;)
여러 대의 오픈클로/헤르메스 굴리면서 이런 거 저런 거를 많이 시키고 있는데요...
아마 전체 사용량의 60% 이상은 LLM 쓰는 게 아니고 로컬에서 이런 저런 오픈소스 붙여서 돌리게 되네요. (ffmpeg, opencv, yolo, 휘스퍼 등등...)
그럼 에이전트에서 LLM은 어따 쓰느냐? 저거 코딩해주는 용도입니다. 물론 나머지 40% 용도는 추론이나 탐색 요약 등등의 용도로 쓰니 여전히 GPT 5.6을 안 쓸 수는 없지만요.
그리고 결국 로컬 PC의 성능이 중요하다보니 처음엔 저성능 / 저발열만 찾다가 결국 집에서는 M4 32GB 맥미니(해비한 작업들), M1 8GB 맥미니 (이쪽은 거의 집사 수준으로 일하는 중) 두 대는…
원문 보기 →