사내 AI · 데이터 관리, 먼저 알아야 할 것은 무엇인가요?
사내 AI는 AI 모델을 외부 서버가 아니라 회사 NAS 안에서 돌려 자료가 사무실 밖으로 나가지 않게 하는 구성입니다. 한별시스템은 이 구성을 자사 NAS(Ryzen V1500B, RAM 4GB)에서 2026년 8월 3일부터 직접 운영하고 있으며 소형 모델 기준 답변 7~60초, 초당 11~12토큰, 상주 메모리 약 2.1GB를 실측했습니다. 도입은 기존 NAS 문서 검색(1단계), 사내 전용 AI 서버(2단계), GPU 장비(3단계)로 나누며, 직원 5명 이하이고 문서가 많지 않은 곳에는 권하지 않습니다.
- 실측 답변
- 7~60초
- 운영 시작
- 2026.08.03
- 도입
- 3단계
- 상담
- 무료
사내 AI가 뭔가요? 챗GPT랑 뭐가 다른가요?
질문에 답하는 AI 모델을 외부 회사 서버가 아니라 우리 회사 장비 안에서 돌리는 것입니다. 챗GPT는 질문과 붙여 넣은 자료가 외부로 전송되지만, 사내 AI는 자료가 사무실 네트워크 밖으로 나가지 않습니다.
지금 사내 AI를 알아봐야 하는 이유가 뭔가요?
이미 직원들이 견적서와 계약서를 외부 챗봇 창에 붙여 넣고 있기 때문입니다. 회사가 막지 않으면 어떤 자료가 나갔는지 알 수도 없고, 나간 자료는 되돌릴 수 없습니다.
NAS에서 AI를 돌리는 게 실제로 되나요?
됩니다. 한별시스템은 Ryzen V1500B에 RAM 4GB인 NAS 한 대에 로컬 LLM 컨테이너를 올려 사내 데이터를 검색·질의하는 AI 도우미를 운영 중입니다. 소형 모델 기준 질문당 7초에서 60초 사이에 답합니다.
사내 AI는 답이 얼마나 빨리 나오나요?
한별시스템 실측으로 소형 0.6B 모델이 7~29초, 1.7B 모델이 16~60초입니다. 외부 챗봇처럼 즉답은 아니지만 자료를 직접 찾아 헤매는 시간보다는 훨씬 짧습니다.
소형 모델이면 답이 부정확하지 않나요?
부정확할 수 있습니다. 한별시스템 운영 기록에도 소형 모델이 숫자 계산을 간헐적으로 틀린 사례가 있어서, 화면에 참고용이라는 고지를 띄우고 근거가 된 원본을 함께 보여 주도록 만들었습니다.
사내 AI를 도입하면 비용이 얼마나 드나요?
지금 쓰시는 장비에 따라 크게 다릅니다. 기존 NAS로 문서를 찾아 주는 정도는 추가 장비 없이 시작할 수 있고, 사내 전용 AI 서버로 쓰려면 RAM 증설과 SSD 캐시 비용이 듭니다.
사내 AI 도입은 어떤 순서로 진행하나요?
3단계로 나눕니다. 1단계는 기존 NAS의 공유 폴더를 AI가 읽고 찾아 주는 구성, 2단계는 NAS 안에 소형 LLM을 상주시키는 사내 전용 AI 서버, 3단계는 GPU를 얹은 완전 온프레미스입니다.
우리 회사에 사내 AI가 필요한지 어떻게 판단하나요?
자료가 민감한가, 자료가 많은가 두 가지로 봅니다. 회계·세무·병원처럼 개인정보를 다루거나 도면·설계 자료가 수 TB 쌓인 곳이면 효과가 큽니다.
직원이 회사 자료를 외부 AI에 올리는 걸 막을 방법이 있나요?
기술적으로 완전히 막기는 어렵습니다. 그래서 막는 것보다 안전한 대체 창구를 회사 안에 만들어 주는 방식이 현실적입니다.
RAG가 뭔가요? 학습시키는 것과 다른가요?
다릅니다. 학습은 모델 자체를 우리 자료로 다시 훈련시키는 것이고, RAG는 질문이 들어오면 사내 문서에서 관련 부분을 먼저 찾아 그 내용을 근거로 답하게 하는 방식입니다.
사내 AI는 어떤 모델을 쓰나요?
장비 성능에 맞춰 소형 모델을 씁니다. 한별시스템 자사 NAS에서는 0.6B와 1.7B 두 가지를 화면에서 전환하며 쓰고 있습니다. 빠른 답이 필요하면 작은 모델, 정확도가 필요하면 큰 모델입니다.
NAS RAM을 얼마나 늘려야 AI를 쓸 수 있나요?
한별시스템 실측으로 소형 모델 하나가 메모리에 상주할 때 약 2.1GB를 씁니다. RAM 4GB 장비에서는 NAS 본래 기능과 같이 돌리기 빠듯해서 증설을 권합니다.
AI를 쓰려면 꼭 GPU가 있어야 하나요?
아닙니다. 소형 모델은 GPU 없이 CPU만으로도 돌아갑니다. 한별시스템 자사 NAS도 GPU 없이 운영하고 있고 초당 11~12 토큰이 나옵니다.
클라우드 AI 서비스를 구독하는 것과 비교하면 어떤가요?
속도와 품질은 클라우드 AI가 앞섭니다. 대신 인원수만큼 매달 구독료가 나가고 자료가 외부로 전송됩니다. 사내 AI는 반대로 초기 구축 비용이 들지만 그 뒤로는 전기료 수준이고 자료가 나가지 않습니다.
20년 치 파일이 흩어져 있는데 AI가 찾아 줄 수 있나요?
찾아 줍니다. 다만 그 전에 파일이 한곳에 모여 있어야 합니다. 개인 PC와 외장하드에 흩어져 있으면 AI가 볼 수 있는 범위가 아니라 아무것도 못 찾습니다.
사내 AI는 누가 볼 수 있게 되나요? 권한 설정이 되나요?
됩니다. 한별시스템 구성은 로그인한 사용자만 AI에 접근할 수 있고, AI가 찾아 주는 자료도 그 사용자가 원래 볼 수 있는 범위로 제한됩니다.
한국어로 물어도 잘 알아듣나요?
소형 모델도 한국어 질문과 답변이 됩니다. 한별시스템 사내 AI도 전부 한국어로 쓰고 있습니다. 다만 문장이 길고 복잡할수록 정확도가 떨어져 짧고 명확하게 묻는 편이 낫습니다.
사내 AI는 누가 관리하나요? 사내에 IT 담당자가 없는데요.
한별시스템이 관리합니다. 관리 고객사 200곳 이상을 원격과 방문으로 유지관리하고 있고, AI 구성도 같은 방식으로 봅니다.
AI가 멈추면 NAS 자체도 멈추나요?
제대로 구성하면 멈추지 않습니다. AI는 별도 컨테이너로 분리해 메모리 한도를 걸어 두기 때문에, 한도를 넘으면 AI 컨테이너만 종료되고 파일 공유와 백업은 계속 돌아갑니다.
AI 도입 전에 먼저 해야 할 일이 있나요?
세 가지입니다. 자료를 한곳에 모으고, 폴더와 권한을 정리하고, 백업을 잡는 것입니다. 이 세 가지가 안 되어 있으면 AI를 붙여도 쓸모가 없습니다.
어떤 업종에서 사내 AI 효과가 큰가요?
설계·건축처럼 도면과 과거 자료를 계속 찾아 보는 곳, 병원·회계처럼 자료를 밖으로 낼 수 없는 곳, 제조처럼 사양서와 도면이 쌓이는 곳입니다.
개인정보가 든 자료를 AI에 넣어도 법적으로 괜찮나요?
외부 AI 서비스에 넣는 것과 사내 서버 안에서 처리하는 것은 위험도가 다릅니다. 사내 AI는 자료가 회사 밖으로 나가지 않으므로 외부 위탁 이슈가 생기지 않습니다.
한별시스템은 AI를 실제로 다뤄 본 적이 있나요?
자사 NAS에서 직접 운영하고 있습니다. 2026년 8월 3일부터 로컬 LLM 컨테이너를 사내 관리 시스템에 연결해 돌리고 있고, 답변 시간과 메모리 사용량, 실패 사례까지 기록해 두었습니다.
먼저 시험해 보고 결정할 수 있나요?
가능합니다. 고객사 도입은 현재 상담과 파일럿 단계로 진행하고 있습니다. 되는 것과 안 되는 것을 먼저 말씀드린 뒤 시작합니다.
데이터 관리 컨설팅은 구체적으로 뭘 해 주나요?
회사 자료가 지금 어디에 얼마나 있는지 파악하고, 어디에 모을지, 누가 볼 수 있게 할지, 사고가 나면 어디서 되살릴지를 문서로 정리해 드립니다.
AI를 도입하려면 뭐부터 물어봐야 하나요?
우리 회사에서 사람들이 가장 많이 찾아 헤매는 자료가 무엇인지부터 정리해 보세요. 그 한 가지를 AI가 찾아 주게 만드는 것이 1단계이고, 거기서 효과가 나면 다음 단계로 갑니다.