RAG가 뭔가요? 학습시키는 것과 다른가요?

학습과 RAG의 차이

학습은 모델 자체를 우리 자료로 다시 훈련시키는 것이고, RAG는 질문이 들어오면 사내 문서에서 관련 부분을 먼저 찾아 그 내용을 근거로 답하게 하는 방식입니다. 중소기업 현실에서는 RAG가 맞습니다. 문서가 바뀌어도 다시 훈련시킬 필요가 없고, 답의 근거가 된 문서를 같이 보여 줄 수 있어 확인이 쉽습니다.

한별시스템 구성

자사 NAS의 AI 도우미는 질문에서 키워드를 뽑아 사내 데이터를 먼저 찾고, 그 결과를 근거로 답합니다. 로그인한 사용자 권한 범위 안에서만 검색되므로 권한 없는 직원이 AI를 통해 자료를 우회로 보는 상황을 막습니다.

질문 하나가 처리되는 순서

RAG 는 검색과 생성 두 단계를 붙인 것입니다. 준비 단계에서 사내 문서를 몇 문단 크기로 잘라 두고, 각 조각을 숫자 벡터로 바꿔 색인에 넣습니다. 이 벡터는 문장의 뜻을 숫자로 표현한 것이어서, 단어가 달라도 뜻이 비슷하면 가까운 값이 됩니다.

질문이 들어오면 질문도 같은 방식으로 벡터로 바꾸고, 색인에서 가장 가까운 조각 몇 개를 꺼냅니다. 그 조각들을 질문과 함께 언어 모델에 넘기면서 이 내용 안에서만 답하라고 지시합니다. 모델은 조각을 읽고 답을 만들고, 화면에는 답과 함께 어느 문서 어느 부분을 근거로 했는지가 나옵니다.

그래서 문서를 고치면 색인만 다시 만들면 됩니다. 모델은 그대로입니다. 학습이 장비와 시간을 크게 요구하는 작업이라면 색인 갱신은 문서가 추가될 때마다 자동으로 돌릴 수 있는 수준입니다.

RAG 가 틀리는 경우

RAG 가 만능은 아닙니다. 검색 단계에서 맞는 조각을 못 찾으면 모델은 관련 없는 조각을 붙잡고 그럴듯한 답을 만들어 냅니다. 이때 근거 표시를 눌러 보면 엉뚱한 문서가 나오므로, 근거를 함께 보여 주는 화면이 중요한 이유가 여기 있습니다.

숫자 계산도 약한 부분입니다. 한별시스템이 운영하는 소형 모델은 계산을 간헐적으로 틀려 화면에 참고용 고지를 두고 있습니다. 합계나 단가 계산은 근거 문서의 숫자를 사람이 한 번 더 확인하는 것을 전제로 씁니다.

문서 준비가 결과의 절반입니다

RAG 품질은 모델보다 문서 상태에 더 좌우됩니다. 글자가 살아 있는 문서인지, 최신본 하나만 있는지, 파일 이름과 폴더가 내용을 알려 주는지가 검색 정확도를 정합니다. 도입 전에 NAS 폴더를 한 번 정리하는 것이 모델을 바꾸는 것보다 효과가 큽니다.

권한도 함께 설계합니다. 급여 대장이 색인에 들어가면 누구나 질문으로 그 내용을 볼 수 있게 됩니다. 색인에 넣을 폴더와 넣지 않을 폴더를 먼저 정하고, 필요하면 부서별로 색인을 나눕니다.