NAS에서 AI를 돌리는 게 실제로 되나요?

실측 수치

한별시스템 자사 NAS 한 대에서 측정한 값입니다. 장비는 Ryzen V1500B에 RAM 4GB, GPU는 없습니다. 소형 모델 기준 생성 속도 초당 11~12 토큰, 질문에 딸린 자료를 읽는 속도는 초당 약 30 토큰입니다. 0.6B 모델은 7~29초, 1.7B 모델은 16~60초 만에 답이 나옵니다.

되지만 빠듯한 이유

모델 하나가 2.1GB를 차지하면 RAM 4GB 장비에서 NAS 본래 기능에 남는 여유가 400MB 안팎입니다. 실제로 모델을 바꾸는 순간 두 모델이 겹쳐 메모리 한도를 넘어 AI 컨테이너만 종료된 적이 있습니다. 그 경험으로 한 번에 모델 하나만 올리고 문맥 길이를 제한하는 설정을 잡았습니다. 다른 서비스와 같이 돌리려면 RAM 증설이 사실상 필수입니다.

NAS 사양에 따라 기대할 수 있는 것

NAS에서 AI를 돌릴 때 성능을 정하는 것은 주로 메모리 용량과 CPU 코어 수입니다. 그래픽카드가 없으니 모델 크기가 곧 메모리 사용량이고, 답변 속도는 CPU가 초당 몇 토큰을 만들어 내느냐에 달립니다. 모델이 두 배 커지면 메모리도 대략 두 배가 필요하고 속도는 그만큼 느려집니다.

RAM 4GB 장비는 소형 모델 한 개를 상주시키는 것이 한계입니다. 메모리를 넉넉히 늘리면 조금 더 큰 모델을 올리거나, 파일 서비스와 백업이 같이 돌아도 AI가 메모리 부족으로 멈추는 일을 줄일 수 있습니다. 다만 CPU 자체가 바뀌지 않으니 답변이 몇 배 빨라지지는 않습니다.

동시에 여러 명이 질문하면 속도는 인원수만큼 나뉩니다. 한 명이 쓸 때 수십 초 걸리던 답이 세 명이 동시에 물으면 훨씬 길어집니다. 사용자가 몇 명인지가 사양을 정하는 기준이 됩니다.

도입 전에 확인할 점검 목록

첫째, 컨테이너 실행을 지원하는 NAS 모델인지 확인합니다. 로컬 LLM은 보통 도커 컨테이너로 올리기 때문에 이 기능이 없는 보급형 모델에서는 시작조차 할 수 없습니다. 둘째, 메모리 증설 슬롯이 있는지 봅니다.

셋째, 어떤 질문에 답하게 할지 범위를 정합니다. 사내 규정, 제품 설명서, 거래처 기록처럼 대상 자료가 정해져 있어야 검색 대상 색인을 만들 수 있습니다. 넷째, 답을 기다릴 수 있는 시간을 정합니다. 즉답이 필요한 업무라면 NAS의 소형 모델은 맞지 않습니다.

다섯째, NAS 본래 역할과의 우선순위입니다. 파일 서버와 백업이 우선이라면 AI는 업무 시간 외에 색인을 만들고, 낮에는 질의만 받게 하는 식으로 부하를 나눕니다.

답변을 어디까지 믿어도 되나

소형 모델은 문장은 그럴듯하게 만들지만 숫자 계산을 틀리는 일이 있습니다. 한별시스템도 자사 운영에서 이 현상을 겪어 화면에 참고용 고지를 표시하고 있습니다. 금액이나 수량이 걸린 답은 원본 문서를 열어 확인하는 것을 규칙으로 두는 편이 안전합니다.

이 한계는 NAS 성능이 아니라 모델 크기에서 옵니다. 그래서 사내 AI의 쓸모는 답을 대신 결정해 주는 것이 아니라, 수백 개 문서 중 어디를 봐야 하는지 빨리 찾아 주는 데 있습니다. 이 용도로 쓰면 소형 모델로도 시간이 절약됩니다.