사내 AI는 어떤 모델을 쓰나요?
장비 성능에 맞춰 소형 모델을 씁니다. 한별시스템 자사 NAS에서는 0.6B와 1.7B 두 가지를 화면에서 전환하며 쓰고 있습니다. 빠른 답이 필요하면 작은 모델, 정확도가 필요하면 큰 모델입니다.
장비가 커지면 더 큰 모델을 올릴 수 있습니다. 다만 모델이 커질수록 메모리를 많이 먹어 장비 사양과 함께 정해야 합니다.
크기와 속도의 교환
한별시스템 자사 NAS에서는 0.6B와 1.7B 두 소형 모델을 화면에서 바꿔 씁니다. 0.6B는 7~29초로 빠르고 1.7B는 16~60초로 느린 대신 정확합니다. 장비가 커지면 더 큰 모델을 올릴 수 있지만 모델이 커질수록 메모리를 많이 먹어 장비 사양과 함께 정해야 합니다.
모델 전환 시 겪은 문제
모델을 바꾸는 순간 이전 모델과 새 모델이 메모리에 겹쳐 한도를 넘고 AI 컨테이너가 종료된 적이 있습니다. 한 번에 모델 하나만 올리고 문맥 길이를 제한하는 설정으로 해결했고, 왕복 전환 4회를 안정적으로 확인했습니다. 이런 설정값은 도입 시 함께 잡아 드립니다.
0.6B, 1.7B라는 숫자의 뜻
B는 billion, 모델이 가진 매개변수(파라미터) 수를 십억 단위로 적은 것입니다. 0.6B는 약 6억 개, 1.7B는 약 17억 개입니다. 매개변수가 많을수록 문장 이해와 추론이 좋아지지만, 그만큼 메모리를 더 차지하고 한 글자를 만드는 데 계산이 더 듭니다.
메모리는 대략 매개변수 수에 매개변수 하나를 저장하는 바이트 수를 곱한 만큼 필요합니다. 그래서 같은 모델이라도 정밀도를 낮춰 압축한(양자화) 판을 쓰면 메모리가 줄어 작은 장비에 올라갑니다. 한별시스템 NAS에서는 모델이 상주할 때 약 2.1GB를 씁니다. RAM 4GB 장비에서 DSM과 다른 서비스가 쓰는 몫을 빼면 이 정도가 올릴 수 있는 상한에 가깝습니다.
GPU가 없는 장비는 CPU만으로 계산하므로 생성 속도가 초당 토큰 수로 제한됩니다. 실측으로 초당 11~12토큰이고, 한글은 한 글자가 토큰 하나 이상을 차지하는 경우가 많아 답변이 길어질수록 그만큼 초 단위로 늘어납니다.
소형 모델이 감당하는 업무와 못 하는 업무
소형 모델은 주어진 문서를 읽고 요약하거나, 문서 안에서 답을 찾거나, 문의 내용을 유형별로 나누는 일에는 충분합니다. 근거 문서를 함께 넣어 주면 모델이 기억에 의존하지 않고 문서를 보고 답하기 때문에 크기의 한계가 덜 드러납니다.
반대로 근거 없이 지식만으로 답하는 일, 여러 단계를 거치는 추론, 숫자 계산은 약합니다. 한별시스템 실측에서도 숫자 계산을 간헐적으로 틀려 화면에 참고용 고지를 붙였습니다. 합계나 단가 계산은 모델에게 시키지 말고 엑셀이나 프로그램이 하게 하고, 모델은 그 결과를 설명하는 역할로 두는 것이 맞습니다.
| 업무 | 소형 모델(0.6B~1.7B) | 비고 |
|---|---|---|
| 사내 문서 검색·요약 | 가능 | 근거 문서를 같이 넣을 때 |
| 문의 분류·태그 달기 | 가능 | 유형이 정해져 있을 때 |
| 답변 초안 작성 | 제한적 | 사람이 검토 후 발송 |
| 숫자 계산·합계 | 권하지 않음 | 프로그램이 계산, 모델은 설명 |
| 긴 문서 창작·복잡한 추론 | 부족 | 외부 대형 모델 영역 |
장비를 키우면 무엇이 달라지나
RAM을 늘리면 더 큰 모델을 올릴 수 있고, GPU를 붙이면 같은 모델의 응답 속도가 크게 빨라집니다. 두 가지는 다른 문제입니다. RAM은 어떤 크기까지 올릴 수 있는가를, GPU는 얼마나 빨리 답하는가를 정합니다.
다만 NAS는 GPU를 붙이기 어려운 구조가 대부분이라, 속도까지 원하면 NAS 옆에 GPU가 있는 별도 PC나 소형 서버를 두고 NAS의 문서를 읽게 하는 구성이 현실적입니다. 자료는 여전히 회사 안에 있으니 사내 AI라는 목적은 유지됩니다.
먼저 지금 장비로 소형 모델을 돌려 보고, 어떤 업무에서 부족한지 확인한 뒤 장비를 정하는 순서를 권합니다. 부족한 것이 정확도인지 속도인지에 따라 사야 할 부품이 다르기 때문입니다. 사내 AI 안내는 /ai/ 에 있습니다.