사내 AI는 답이 얼마나 빨리 나오나요?

속도를 좌우하는 것

답변 시간은 모델 크기, 질문에 딸려 보내는 자료 양, 장비 메모리 세 가지로 정해집니다. 한별시스템 실측으로 0.6B 모델은 7~29초, 1.7B 모델은 16~60초입니다. 화면 데이터를 붙여 보내면 그 자료를 읽는 시간이 더해져 15~20초가 추가됩니다.

빠르게 만드는 순서

첫째 RAM 증설입니다. 모델이 메모리에 안정적으로 상주해야 매번 다시 올리는 시간이 사라집니다. 둘째 M.2 SSD 캐시로 자료 읽는 속도를 올립니다. 셋째가 GPU 장비인데 여기서 금액대가 크게 뜁니다. 한별시스템은 1단계에서 직원들이 실제로 쓰는지 확인한 뒤 올라가도록 권합니다.

왜 같은 모델인데 7초에서 29초까지 벌어지나

차이는 답의 길이입니다. 한별시스템 NAS 에서 소형 모델의 생성 속도는 초당 11~12토큰 수준으로 일정한데, 한 줄짜리 답과 문단 다섯 개짜리 답은 만들어야 할 글자 수가 다르니 걸리는 시간도 그만큼 벌어집니다. 질문이 길고 붙여 넣은 자료가 많으면 읽는 시간도 더해집니다.

체감 속도는 전체 완료 시간보다 첫 글자가 나오기까지의 시간에 더 좌우됩니다. 글자가 흘러나오기 시작하면 사람은 읽으면서 기다리기 때문에 20초짜리 답도 길게 느껴지지 않습니다. 반대로 아무것도 안 나오는 상태로 10초를 넘기면 멈춘 것처럼 느낍니다. 그래서 답이 화면에 실시간으로 찍히게 두는 것이 장비를 바꾸지 않고도 체감을 줄이는 첫 방법입니다.

모델 크기도 한 축입니다. 0.6B 는 빠르지만 문장이 거칠고, 1.7B 는 두 배 가까이 느린 대신 요약과 정리가 낫습니다. 한별시스템은 두 모델을 화면에서 바꿔 쓰게 두었으므로, 단순 검색은 작은 쪽, 문서 요약은 큰 쪽으로 나눠 쓰면 됩니다.

이 속도로 충분한 일과 부족한 일

사내 AI 에 맞는 일은 답이 짧고 근거가 회사 문서 안에 있는 일입니다. 어느 거래처가 지난달에 무엇을 요청했는지, 특정 장비의 설치 기록이 어디 있는지 같은 질문은 답이 몇 줄이면 끝나서 소형 모델로도 짧게는 10초 안팎이면 나옵니다. 사람이 폴더를 열어 파일을 하나씩 확인하는 것보다 빠릅니다.

반대로 긴 보고서를 처음부터 써 달라거나 여러 문서를 한꺼번에 비교해 달라는 요청은 답이 길어져 1분 가까이 걸리고, 소형 모델은 품질도 떨어집니다. 이런 일은 외부 AI 를 쓰거나, 사내 AI 에는 자료 찾기만 맡기고 글은 사람이 쓰는 편이 빠릅니다.

숫자 계산이 섞인 질문도 주의가 필요합니다. 한별시스템 실측에서 소형 모델이 숫자 계산을 간헐적으로 틀린 사례가 있어 화면에 참고용 고지를 붙여 두었습니다. 합계나 단가 계산은 AI 답을 그대로 쓰지 말고 원본 표를 열어 확인하는 것이 맞습니다.