소형 모델이면 답이 부정확하지 않나요?

실제로 틀린 사례

한별시스템 운영 기록에 소형 모델이 숫자 계산을 간헐적으로 틀린 사례가 있습니다. 검색된 행은 맞게 찾아 놓고 합계를 틀리게 말하는 식입니다. 그래서 화면에 참고용 고지를 띄우고, 답의 근거가 된 원본 행을 함께 보여 주도록 만들었습니다. 사용자가 원본을 한 번 확인하면 됩니다.

프롬프트 한 줄이 답을 바꾼다

시스템 지시문에 없으면 확인되지 않는다고 답하라는 모범 문구를 넣었더니 소형 모델이 데이터가 있어도 그 문구만 따라 하는 현상을 겪었습니다. 문구를 빼고 각 행을 조건과 하나씩 대조하라는 지시로 바꿔 해결했습니다. 소형 모델은 이런 함정이 많아 도입 시 사내 사용 가이드를 같이 만들어 드립니다.

소형 모델이 잘하는 일과 못하는 일

답의 정확도는 모델 크기만으로 정해지지 않습니다. 소형 모델도 근거 문서를 앞에 놓고 그 안에서 찾아 답하게 하면 결과가 안정적입니다. 반대로 근거 없이 기억에만 의존해 답하게 하면 큰 모델도 그럴듯한 오답을 냅니다. 사내 AI가 문서 검색과 요약에 집중하는 이유가 여기에 있습니다.

한별시스템이 운영하면서 본 경향은 뚜렷합니다. 문서 안에 있는 문장을 찾아 그대로 옮기거나 짧게 요약하는 일은 0.6B 모델로도 쓸 만합니다. 반면 여러 숫자를 더하고 비교해서 결론을 내는 일, 표 여러 개를 합쳐 판단하는 일은 1.7B 모델도 간헐적으로 틀립니다. 계산은 엑셀이나 ERP 에 맡기고 AI 는 그 숫자가 어느 문서에 있는지 찾는 역할로 두는 편이 안전합니다.

틀린 답을 걸러내는 운영 방식

정확도를 높이는 가장 확실한 방법은 모델을 키우는 것이 아니라 답을 검증할 수 있게 만드는 것입니다. 답만 보여 주는 화면과 근거 원본을 나란히 보여 주는 화면은 같은 모델이라도 실제 쓸모가 다릅니다. 근거가 보이면 직원이 몇 초 안에 맞는지 확인할 수 있고, 근거가 없으면 답이 맞아도 믿고 쓰기 어렵습니다.

정확도를 관리할 때 점검할 목록은 대체로 네 가지로 정리됩니다. 첫째, 답에 근거 문서 이름과 위치가 붙는지 확인합니다. 둘째, 숫자가 들어간 답은 원본 표를 열어 대조합니다. 셋째, 문서에 없는 내용을 물으면 자료 없음이라고 답하도록 안내문을 고정합니다. 넷째, 틀린 사례를 기록해 두고 같은 유형의 질문을 다시 시험해 개선됐는지 봅니다.

모델을 키우면 해결되나요

더 큰 모델을 쓰면 정확도는 올라가지만 RAM 과 답변 시간이 같이 늘어납니다. 한별시스템 자사 NAS 실측으로 0.6B 는 답변에 7~29초, 1.7B 는 16~60초가 걸립니다. 모델을 키우면 기다리는 시간도 늘고, RAM 4GB 장비에서는 아예 올라가지 않는 크기도 있습니다.

그래서 판단 기준은 가장 똑똑한 모델이 아니라 우리 질문 유형에 맞는 최소 크기입니다. 문서 검색 위주라면 소형 모델과 좋은 검색 구성이 낫고, 긴 보고서를 새로 쓰는 일이 많다면 GPU 가 있는 장비나 사내 자료를 넣지 않는 조건으로 외부 AI 를 병행하는 편이 현실적입니다. 도입 전에 실제 사내 문서로 질문 20개 정도를 시험해 보면 어느 쪽이 맞는지 드러납니다.