AI를 쓰려면 꼭 GPU가 있어야 하나요?
아닙니다. 소형 모델은 GPU 없이 CPU만으로도 돌아갑니다. 한별시스템 자사 NAS도 GPU 없이 운영하고 있고 초당 11~12 토큰이 나옵니다.
다만 답변 속도와 모델 크기를 실무 수준으로 올리려면 GPU가 필요해집니다. 그 단계에서는 NAS가 아니라 전용 서버로 넘어갑니다.
GPU 없이 되는 범위
소형 모델은 CPU만으로 돌아갑니다. 한별시스템 자사 NAS도 GPU 없이 운영하며 초당 11~12 토큰이 나옵니다. 사내 문서를 찾아 요약하는 용도라면 이 속도로 쓸 수 있습니다.
GPU가 필요해지는 시점
답변 속도를 체감 즉답 수준으로 올리거나 더 큰 모델을 써서 답 품질을 실무 수준으로 끌어올리려면 GPU가 필요합니다. 이때는 NAS가 아니라 GPU를 얹은 전용 서버로 넘어가는 3단계이고, 망분리나 고보안이 요구되는 공공·의료·설계 분야가 주로 여기에 해당합니다.
GPU 없이 왜 돌아가는가
AI 모델은 결국 숫자 곱셈의 반복이고, CPU도 그 계산을 할 수 있습니다. GPU가 빠른 이유는 같은 계산을 한 번에 수천 개씩 하기 때문이지, CPU가 못 하는 계산을 하는 것이 아닙니다. 모델이 작으면 계산량 자체가 적어 CPU만으로도 사람이 읽는 속도에 가깝게 답을 만듭니다.
여기에 양자화라는 기법이 더해집니다. 모델 숫자의 정밀도를 낮춰 크기를 줄이는 방식으로, 답 품질은 조금 떨어지지만 메모리와 계산량이 크게 줄어 CPU에서 돌리기 쉬워집니다. RAM 4GB인 한별시스템 NAS가 소형 모델을 약 2.1GB로 상주시킬 수 있는 것도 모델이 작기 때문입니다.
속도를 정하는 것은 GPU 하나가 아닙니다
CPU 구성에서 답변 속도를 좌우하는 요소는 넷입니다. 모델 크기, 메모리 용량, 동시에 묻는 사람 수, 질문에 딸려 보내는 문서 분량입니다. GPU를 사기 전에 이 넷을 먼저 조정하면 같은 장비에서 체감이 달라집니다.
초당 11~12토큰이라는 실측 수치는 한글 기준으로 한 문장이 몇 초 안에 채워지는 정도입니다. 짧은 답은 기다릴 만하고, 긴 보고서를 통째로 쓰게 하면 1분을 넘깁니다. 용도를 짧은 질의응답과 문서 요약으로 두면 GPU 없이도 실무에 씁니다.
| 요소 | 영향 | 먼저 해 볼 것 |
|---|---|---|
| 모델 크기 | 클수록 느리고 메모리를 많이 차지 | 한 단계 작은 모델로 비교 |
| 메모리 | 부족하면 모델이 내려갔다 다시 올라와 첫 답이 늦음 | RAM 증설, 상주 유지 |
| 동시 사용자 | 여럿이 동시에 물으면 줄을 섬 | 사용 시간대 분산, 대기 안내 |
| 문서 분량 | 붙이는 문서가 길수록 첫 글자까지 오래 걸림 | 검색으로 필요한 부분만 넘기기 |
GPU를 붙일 때 같이 생기는 비용
GPU는 카드 값만 드는 것이 아닙니다. NAS에는 대개 GPU를 꽂을 자리가 없어 별도 서버가 필요하고, 그 서버는 전력 소모와 발열, 소음이 NAS와 다른 수준입니다. 사무실 한쪽에 두기 어렵고 전원 용량과 통풍을 따로 봐야 합니다.
관리 대상도 하나 늘어납니다. 드라이버와 소프트웨어 버전을 맞춰야 하고, 서버 한 대가 더 생기니 백업과 보안 점검도 따라 늘어납니다. 그래서 순서는 NAS에서 소형 모델로 시작해 실제 쓰는 사람과 용도가 확인된 뒤 GPU를 검토하는 것입니다. 처음부터 GPU 서버를 사면 쓰지 않는 성능에 돈이 묶입니다.