전체 보드 관리 ▾
← 피드 / 1주 전 메모리 사용을 줄이는 AI 훈련 논문을 소개해봅니다. 흥미로운 AI기업 중에 주목할 만 하지만 검증이 많이 필요한...
아직은 구체적인 무언가로 다가오지 않는... 곳들이 몇 곳 있습니다.
대표적인 경우로는.. 제파가 있겠고, 사카나AI도 그런 곳 중 하나입니다.
https://pub.sakana.ai/diffusionblocks/
이러한 정보를 소개 할 때는 그것이 얼마나 깊이 있는 단계로 나아갔는지 보다
소개 자체의 의의를 두었으면 좋겠습니다.
저도 잘 모르고, 아는 분들에게 도움이 될 수 있는 정보로...
그럼에도 간단하게 요약을 해보자면,
모델 학습을 하다 보면 뻑이 날 때가 있죠.
모델의 층이 깊어 질 수록 기하급수적으로 메모리 사용량이 늘어나게 됩니다.
이에 전체 층의 동시 학습이 아닌 신경망을 여러 블록으로 쪼개어 하나씩 따로 따로 학습하는 방법을 담은 프레임워크를 제안하고 있습니다.
관건은 효율의 추구로 제한된 자원 하의 개인 또는 소기업의 거대 모델 학습의 가능성을 보이는가 여부입니다.
학습이든 추론이든 일단 컨텍스트를 크고 풍부하게 제공하면서 동시에 정확성을 놓치지 않기 위해
여러가지 문제가 돌출 됩니다. 쉽게 말해 문제는... 비용입니다.
그리고 더 높은 성능을 뒷받침하면서 활용성도 높이려면...
메모리의 효율적인 활용이 중요하며,
성패를 가르는 중요 조건으로 보아도 크게 무리는 없지 싶습니다.
오늘의 인기 (TOP 50) 순번 미리보기 제목 댓글 시간
2
아니 정부는 왜 폭도들을 방치하고 있는거죠? 16분 전
☆ 2
아니 정부는 왜 폭도들을 방치하고 있는거죠? 16분 전 ☆ 3
반민주 2030프레임에 놀면 한없이 거기서 놀겁니다 17분 전
☆ 3
반민주 2030프레임에 놀면 한없이 거기서 놀겁니다 17분 전 ☆ 4
오세훈은 절호의 기회를 놓치고 있네요. 18분 전
☆ 4
오세훈은 절호의 기회를 놓치고 있네요. 18분 전 ☆ 5
박제: 쿤타맨VS매뚜기가면 ( railroad) 18분 전
☆ 5
박제: 쿤타맨VS매뚜기가면 ( railroad) 18분 전 ☆ 6
올림픽공원 시위는 건전하게 진행되고 있습니다. 20분 전
☆ 6
올림픽공원 시위는 건전하게 진행되고 있습니다. 20분 전 ☆ 7 NTR과 순애를 동시에 만족시키는 작품 25분 전
☆ 7 NTR과 순애를 동시에 만족시키는 작품 25분 전 ☆ 8 ☆ 8 진구 이야기는 모르겠고 26분 전 ☆ 9 ☆ 9 좋아 만화는 슬슬 지겨우니 26분 전 ☆ 10 블루아카)학생회장이 다급하게 복귀한 이유 26분 전
☆ 10 블루아카)학생회장이 다급하게 복귀한 이유 26분 전 ☆ 11 ☆ 11 "진구야. 너 소설에 ai썼지?" 26분 전 ☆ 12 “진구야! 너의 그 급진적이고 대담한 이론은 틀렸어!!” 26분 전
☆ 12 “진구야! 너의 그 급진적이고 대담한 이론은 틀렸어!!” 26분 전 ☆ 13
저기 할머니처럼가면 죽는거야 .gif 26분 전
☆ 13
저기 할머니처럼가면 죽는거야 .gif 26분 전 ☆ 14 "아니 퉁퉁아 네가 원하는대로 했잖아..." 26분 전
☆ 14 "아니 퉁퉁아 네가 원하는대로 했잖아..." 26분 전 ☆ 15 ☆ 15 "진ㅡㄴ구에요?" 26분 전 ☆ 16 ☆ 16 블루아카)세나는 인기좀 있지 안나? 26분 전 ☆ 17 ☆ 17 치에쨩 생일이네 26분 전 ☆ 18 버튜버) 비비: 파판7 원작 안해도 리메이크 즐길 수 있음? 27분 전
☆ 18 버튜버) 비비: 파판7 원작 안해도 리메이크 즐길 수 있음? 27분 전 ☆ 19 "진구야, 복도에 가지말고 서보거라" 27분 전
☆ 19 "진구야, 복도에 가지말고 서보거라" 27분 전 ☆ 20
잠시나마 시장, 시장 사모님 된듯한 도파민 터졌으면 된거죠 27분 전
☆ 20
잠시나마 시장, 시장 사모님 된듯한 도파민 터졌으면 된거죠 27분 전 ☆ 21 블루아카) 오늘 카페 메모리얼 블평 뭐냐;;;.jpg 27분 전
☆ 21 블루아카) 오늘 카페 메모리얼 블평 뭐냐;;;.jpg 27분 전 ☆ 22
나는 키작아서 군대 공익 갔는데 ㅈㄴ 잘된 것 같아. 27분 전
☆ 22
나는 키작아서 군대 공익 갔는데 ㅈㄴ 잘된 것 같아. 27분 전 ☆ 23 "진구가 결국 도구를 써서 도망쳐버렸어, 대타 작가가 필요해" 27분 전
☆ 23 "진구가 결국 도구를 써서 도망쳐버렸어, 대타 작가가 필요해" 27분 전 ☆ 24 ☆ 24 스텔라 블레이드 신작 주인공 내취향 27분 전 ☆ 26 ☆ 26 세계화 의외의 결과 27분 전 ☆ 27 "네 웹소는 작문이랑 맞춤법이 쓰레기라는 말도 아까워" 28분 전
☆ 27 "네 웹소는 작문이랑 맞춤법이 쓰레기라는 말도 아까워" 28분 전 ☆ 28
내가 볼때 노진구밈은 작성자들의 상처임 28분 전
☆ 28
내가 볼때 노진구밈은 작성자들의 상처임 28분 전 ☆ 29
파판7 리버스 스팀 버전 업뎃 된거 해보니 28분 전
☆ 29
파판7 리버스 스팀 버전 업뎃 된거 해보니 28분 전 ☆ 30
거제찾아간 리센느영상을 이제봤는데 28분 전 ☆ 31
올림픽 공원에서 올바른 방법으로 시위를 하는 20,30대들을 욕하고싶지 않습니다 28분 전
☆ 31
올림픽 공원에서 올바른 방법으로 시위를 하는 20,30대들을 욕하고싶지 않습니다 28분 전 ☆ 32 ☆ 32 변호사가 들은 어이없는 말.jpg 29분 전 ☆ 33 "진구야! 순애랑 NTR 독자들을 동시에 만족시킨다면서!" 29분 전
☆ 33 "진구야! 순애랑 NTR 독자들을 동시에 만족시킨다면서!" 29분 전 ☆ 34 스텔라 블레이드 블러드레인 개쩔었던 부분 29분 전
☆ 34 스텔라 블레이드 블러드레인 개쩔었던 부분 29분 전 ☆ 35 이제 주인공도 사귀기만 하면 완벽하다 30분 전
☆ 35 이제 주인공도 사귀기만 하면 완벽하다 30분 전 ☆ 36 ☆ 36 심심한데 질문 받아요 30분 전 ☆ 38
모바일로 쉽게 접근하는 게시판이면 죄다 방사능 피폭수준으로 극우오염됨. 31분 전
☆ 38
모바일로 쉽게 접근하는 게시판이면 죄다 방사능 피폭수준으로 극우오염됨. 31분 전 ☆ 39 ☆ 39 노진구 밈도 슬슬 질린다고? 31분 전 ☆ 40 ☆ 40 술이 마시고 싶었던 임산부의 결론 31분 전 ☆ 41 "진구야 새 히로인들 샘플 구해왔어!" 31분 전
☆ 41 "진구야 새 히로인들 샘플 구해왔어!" 31분 전 ☆ 43 '혐오 떡밥도 없으니 슬슬 노진구가 사라져도 되는거 아니냐, 라...' 32분 전
☆ 43 '혐오 떡밥도 없으니 슬슬 노진구가 사라져도 되는거 아니냐, 라...' 32분 전 ☆ 44 3일동안 하는 두아 리파 결혼식 때문에 빡친 이탈리아 사람들 32분 전
☆ 44 3일동안 하는 두아 리파 결혼식 때문에 빡친 이탈리아 사람들 32분 전 ☆ 45 ☆ 45 갑자기 웬 도라에몽이냐 32분 전 ☆ 46 ☆ 46 "야 노진구." 33분 전 ☆ 47
블루아카) 서클챗 가장 충격적이었던것.jpg 33분 전
☆ 47
블루아카) 서클챗 가장 충격적이었던것.jpg 33분 전 ☆ 48
2-30들에게 잘 설득해야 한다 이야기 해줘야 한다 달래야 한다 그런이야기들 많은데. 33분 전
☆ 48
2-30들에게 잘 설득해야 한다 이야기 해줘야 한다 달래야 한다 그런이야기들 많은데. 33분 전 ☆ 49 건담시드) 아놀드 노이만을 알고있는 키라의 대응 33분 전
☆ 49 건담시드) 아놀드 노이만을 알고있는 키라의 대응 33분 전 ☆ 50 ☆ 50 제정신인 딸아빠라면 소름 끼치는 일 33분 전 ☆ 
