본사이 27B라는 ai모델이 최근 뜨거운 감자 중 하나입니다.

본사이 27B가 나온지 벌써 한 달 가까워집니다. 이슈에 비해 언어적으로나 추론적으로 엄청난 모델은 아닙니다만 역시나 애플이 눈독을 들였다는 소식만으로도 계속 회자되기에는 충분한 모델이었죠. 폐쇄형 온라인 모델도 헛소리 하고 답답한 마당에 걸음마도 안 되는 피씨에서 돌리는 소형 로컬 모델이 무슨 대수냐 하실 수도 있는데 큐웬 3.6 27B를 1비트 수준의 양자화로 잡아 놓은 "작업에 쓸 만 한"수준의 최초의 모델이라는 것에 의미를 크게 두는 것 같습니다. 27B이면 그동안 무난하게 돌리려면 최소 16기가 정도는 있어야 무리해서 양자화 시키고 띄워둘 수 있었습니다. 그나마 그 상태에서 돌린다 하더라도 무리한 양자화로 바보 되는 건 당연한 것이기 때문에 (뭐랄까 똑똑한데 극도로 졸음이 오고 섬망이 심한 상태라고…