사내 AI가 뭔가요? 챗GPT랑 뭐가 다른가요?

외부 AI와 무엇이 다른가

챗GPT 같은 외부 AI는 질문 창에 붙여 넣은 자료가 그 회사 서버로 전송됩니다. 편리하지만 견적서나 계약서를 붙여 넣는 순간 그 자료는 회사 밖으로 나간 것이고, 어디에 얼마나 남는지는 회사가 통제할 수 없습니다.

사내 AI는 같은 일을 회사 NAS 안에서 합니다. 질문도 답도 사무실 네트워크 밖으로 나가지 않습니다. 대신 회사 장비 성능만큼만 똑똑합니다. 큰 모델이 필요한 창작이나 복잡한 추론은 외부 AI가 앞서고, 사내 문서를 찾아 요약하는 일은 사내 AI로 충분합니다.

한별시스템이 실제로 쓰는 구성

자사 NAS(Ryzen V1500B, RAM 4GB)에 로컬 LLM 컨테이너를 올려 사내 관리 데이터를 검색·질의하는 AI 도우미를 2026년 8월 3일부터 돌리고 있습니다. 소형 모델 0.6B와 1.7B 두 가지를 화면에서 바꿔 쓰며, 모델이 메모리에 상주할 때 약 2.1GB를 씁니다.

숫자 계산을 간헐적으로 틀리는 사례가 있어 화면에 참고용 고지를 띄우고 근거 원본을 함께 보여 주도록 만들었습니다. 파는 물건을 저희가 먼저 쓰고 있고, 잘 안 되는 것도 그대로 공개합니다.

사내 문서를 어떻게 찾아 답하게 되나

사내 AI가 회사 자료를 답하는 방식은 학습이 아니라 검색입니다. 먼저 문서를 작은 조각으로 나눠 색인을 만들어 두고, 질문이 오면 그 색인에서 관련 조각을 찾아 모델에게 넘깁니다. 모델은 그 조각을 읽고 문장으로 정리해 답합니다.

이 구조라서 자료를 추가하거나 지우면 색인만 다시 만들면 바로 반영됩니다. 모델을 새로 학습시킬 필요가 없고, 답변 근거가 어느 문서에서 왔는지 따라갈 수 있습니다. 반대로 색인에 없는 내용은 모델이 아는 척 지어낼 수 있으니, 대상 자료 범위를 분명히 정해 두어야 합니다.

규정집, 제품 설명서, 견적 이력, 회의록처럼 형식이 정해진 문서일수록 잘 찾습니다. 손글씨 스캔본이나 사진 속 글자는 먼저 텍스트로 바꿔 두어야 검색 대상이 됩니다.

도입 전에 정해 둘 것

첫째, 누가 어떤 질문에 쓸지 정합니다. 신입 직원의 규정 문의, 영업 담당의 과거 견적 조회처럼 용도가 좁을수록 결과가 좋습니다. 둘째, 넣을 자료와 넣지 않을 자료를 나눕니다. 급여나 개인정보 문서는 색인에서 빼거나 별도 권한으로 막습니다.

셋째, 답변을 어디까지 믿을지 규칙을 정합니다. 숫자와 날짜는 원본을 확인하고, 대외 문서에 그대로 붙여 넣지 않는 식입니다. 넷째, 기다릴 수 있는 시간을 정합니다. 회사 장비의 소형 모델은 즉답이 아니므로 급한 문의 창구로는 맞지 않습니다.

사내에 있어도 보안 관리는 필요합니다

자료가 밖으로 나가지 않는다는 것과 아무나 볼 수 있어도 된다는 것은 다릅니다. AI 화면은 사내 네트워크에서만 열리게 하고, 로그인한 사람의 권한에 따라 검색되는 문서를 제한해야 합니다. 그렇지 않으면 원래 못 보던 문서를 AI를 통해 읽는 길이 생깁니다.

누가 무엇을 물었는지 기록을 남기고, 모델과 컨테이너는 주기적으로 업데이트합니다. 외부 인터넷에서 접근할 필요가 있으면 VPN을 거치게 하고 AI 화면 자체를 직접 노출하지 않습니다. 한별시스템의 사내 AI 도입 안내는 /ai/ 에서 볼 수 있습니다.