사내 AI를 도입하면 비용이 얼마나 드나요?

단계별로 드는 것

1단계는 지금 쓰는 NAS 그대로 공유 폴더를 AI가 찾아 주게 하는 구성이라 장비 추가가 없습니다. 2단계는 NAS 안에 소형 모델을 상주시키는 구성이라 RAM 증설과 M.2 SSD 캐시가 필요합니다. DS925+ 급은 RAM을 최대 32GB까지 늘릴 수 있습니다. 3단계는 GPU를 얹은 전용 장비로 서버 한 대 값이 듭니다.

NAS부터 없는 경우

NAS가 없으면 그것부터입니다. DS925+에 8TB 2개와 출장 설치·설정교육까지 3,250,000원(VAT 별도)이고, 임대는 월 100,000원부터입니다. AI는 그 위에 얹는 것이라 NAS 구축 비용이 곧 AI 1단계 비용입니다. 현장을 보고 지금 장비로 되는지부터 말씀드립니다.

비용을 결정하는 네 가지 변수

금액을 좌우하는 것은 장비 값 하나가 아니라 네 가지입니다. 첫째, 모델 크기입니다. 소형 모델은 기존 NAS에서 돌지만 크기가 커질수록 메모리와 연산 장치가 필요합니다. 둘째, 동시 사용자 수입니다. 한 명이 쓰는 것과 열 명이 동시에 묻는 것은 같은 모델이라도 필요한 장비가 다릅니다. 셋째, 연결할 자료의 양입니다. 문서를 검색 가능하게 색인하는 작업은 자료가 많을수록 저장 공간과 처리 시간이 늘어납니다. 넷째, 답변 속도에 대한 기대입니다. 몇 초 안에 나와야 하는지, 몇십 초를 기다려도 되는지에 따라 단계가 갈립니다.

이 네 가지를 먼저 적어 보면 어느 단계가 맞는지 대체로 정해집니다. 처음 상담에서 저희가 묻는 것도 이 네 가지입니다.

실측으로 보는 1단계의 실제 부담

1단계가 어느 정도인지 감을 잡으시라고 한별시스템 자사 사례를 그대로 적습니다. Ryzen V1500B, RAM 4GB, GPU가 없는 NAS에서 2026년 8월 3일부터 소형 모델 0.6B와 1.7B를 운영 중입니다. 답변까지 0.6B는 7~29초, 1.7B는 16~60초가 걸리고 생성 속도는 초당 11~12토큰, 모델이 상주할 때 메모리 약 2.1GB를 씁니다. 추가 장비 없이 이 정도가 나옵니다.

이 속도는 사내 문서를 찾아 요약하는 용도에는 쓸 만하지만 대화하듯 빠르게 주고받기에는 느립니다. 숫자 계산을 간헐적으로 틀려 참고용 고지를 붙여 두었습니다. 즉 1단계의 비용은 낮지만 기대치도 여기에 맞춰야 합니다. 이 수준으로 시작해 직원들이 실제로 얼마나 쓰는지 본 뒤 다음 단계를 정하면 장비를 헛되이 사는 일을 줄일 수 있습니다.

숨은 비용과 외부 구독을 같은 기준으로 비교하기

장비 값 외에 드는 것이 있습니다. 전기료는 NAS가 이미 켜져 있다면 거의 늘지 않지만 GPU 장비는 별도로 잡아야 합니다. 사람 시간도 비용입니다. 자료를 정리해 연결하고 답변 품질을 확인하는 초기 작업은 누군가의 며칠이 들어갑니다. 모델은 몇 달 단위로 더 나은 것이 나오므로 교체 작업도 주기적으로 생깁니다.

외부 AI 구독은 인원수에 월 요금을 곱해 계속 나가고, 사내 AI는 초기에 몰리고 이후는 낮습니다. 비교는 3년 총액으로 하는 것이 맞습니다. 다만 자료를 밖에 보내지 않는다는 조건에 값을 매기기 어렵다면 그 부분은 금액이 아니라 회사 방침으로 결정하는 항목입니다.