주인공은 MiniMax H3
단... 진입 장벽이 있습니다.
VRAM이 16GB로는 어렵고 24GB 는 되어야 하는 것 같습니다.
RTX 3090 으로 활용하는 것을 보았고, 이게 마지노선인 듯 합니다.
RTX 5060 TI로도 돌리는 것을 보았는데,
엄청나게 느리고... 쓸만한 작업 환경은 되지 못하는 것 같네요.
풀 용량은 120? 이 정도 된다고 하고.
양자화 모델을 돌릴 때 24GB의 그래픽카드 + 64GB 이상의 시스템 메모리가 필요한 것 같습니다.
오프로딩을 해서라도 돌린다면 말이죠.
씨드림과 비교시 더 낫다기 보다는 로컬이 가능하다는 점에서 의의가 있는 듯 싶습니다.
씨드림의 경우 트라이 한번에 만원대가 넘어가서,
이게 여러 번 뽑아야하는 특성상... 가격 부담이 적지 않은데,
혼합해서 써도 될…
원문 보기 →