지금 사내 AI를 알아봐야 하는 이유가 뭔가요?

이미 사무실에서 벌어지고 있는 일

직원이 외부 챗봇에 회사 자료를 붙여 넣는 일은 이미 일상입니다. 금지 공지를 붙여도 업무가 급하면 씁니다. 회사가 통제할 수 있는 창구가 없으면 어떤 자료가 나갔는지 알 방법이 없고, 나간 자료는 되돌릴 수 없습니다.

그래서 막는 것보다 안전한 창구를 회사 안에 만들어 주는 쪽이 현실적입니다. 민감한 자료는 사내 AI에서, 일반 업무는 외부 AI에서 쓰도록 나누면 됩니다.

지금 시작해야 하는 이유는 데이터 정리 때문

사내 AI는 볼 수 있는 자료만 찾아 줍니다. 개인 PC와 외장하드에 흩어져 있으면 아무것도 못 찾습니다. AI 도입의 절반은 자료를 한곳에 모으고 폴더와 권한을 정리하는 일이고, 이건 AI와 무관하게 회사에 필요한 일입니다. 늦게 시작할수록 정리할 양만 늘어납니다.

장비 문턱이 낮아진 것이 지금인 이유

몇 년 전까지 사내 AI 는 GPU 서버가 있어야 시험이라도 해 볼 수 있었습니다. 지금은 사무실에 이미 있는 NAS 급 장비에서 소형 모델이 돌아갑니다. 한별시스템이 자사 NAS(Ryzen V1500B, RAM 4GB, GPU 없음)에서 2026년 8월 3일부터 운영 중인 구성이 그 예입니다. 상주 메모리 약 2.1GB 로 사내 자료 검색과 요약을 맡기고 있습니다.

이 말은 큰 투자 없이 우리 회사 자료로 되는지를 먼저 확인할 수 있게 됐다는 뜻입니다. 되면 키우고 안 되면 접으면 됩니다. 알아보는 비용이 낮아졌으니 알아볼 이유가 생긴 것이고, 미룰 이유는 그만큼 줄었습니다.

우리 회사가 지금 알아봐야 하는지 판단 기준

모든 회사가 당장 사내 AI 를 들여야 하는 것은 아닙니다. 아래 항목 중 두 개 이상 해당하면 지금 알아보는 편이 낫고, 하나도 없으면 1년 뒤에 봐도 늦지 않습니다. 마지막 항목만 해당하면 AI 보다 자료 모으기가 먼저입니다.

작게 시작하는 순서

알아본다는 것이 곧 큰 계약은 아닙니다. 순서는 이렇습니다. 첫째, 직원들이 외부 AI 에 무엇을 붙여 넣는지 한 주만 적어 봅니다. 둘째, 그중 사내 문서 검색으로 해결되는 질문을 골라 20개 정도 목록으로 만듭니다. 셋째, 지금 있는 NAS 에 소형 모델을 올려 그 20개를 시험합니다. 넷째, 답이 쓸 만한 비율과 걸린 시간을 기록해 확대 여부를 정합니다.

이 과정에 드는 것은 장비가 아니라 시간입니다. 실측으로 소형 모델은 질문 하나에 7~60초가 걸리므로 즉답 도구를 기대하면 실망합니다. 대신 자료가 회사 밖으로 나가지 않는 검색 창구가 생기고, 외부 AI 는 사내 자료를 넣지 않는 창작·번역 용도로 남깁니다. 두 개를 나눠 쓰는 규칙이 잡히는 것이 지금 알아보는 일의 실제 결과물입니다.

한별시스템의 사내 AI 는 회사 NAS 안에서 도는 로컬 LLM 방식이라 NAS 구축과 같이 상담합니다. 안내는 /ai/, 문의는 053-588-7119 입니다.