클라우드 AI 서비스를 구독하는 것과 비교하면 어떤가요?
속도와 품질은 클라우드 AI가 앞섭니다. 대신 인원수만큼 매달 구독료가 나가고 자료가 외부로 전송됩니다. 사내 AI는 반대로 초기 구축 비용이 들지만 그 뒤로는 전기료 수준이고 자료가 나가지 않습니다.
자료가 민감하지 않고 이미 잘 쓰고 계시면 굳이 사내에 두실 필요 없습니다. 저희도 그런 경우에는 권하지 않습니다.
항목별 비교
속도와 품질은 외부 AI가 앞섭니다. 사내 AI를 두는 이유는 자료가 밖으로 나가지 않는다는 점 하나이고, 자료가 민감한 회사에는 이 하나가 나머지를 덮습니다.
| 항목 | 외부 AI 구독 | 사내 AI |
|---|---|---|
| 자료 전송 | 외부 서버로 | 사무실 밖으로 안 나감 |
| 비용 구조 | 인원수 × 매달 | 초기 구축 후 전기료 수준 |
| 사내 문서 활용 | 직접 올려야 함 | 사내 자료 자동 검색 |
| 권한 관리 | 회사가 통제 어려움 | 로그인 권한 범위로 제한 |
| 중단 위험 | 서비스 정책에 영향 | 회사가 직접 통제 |
둘 다 쓰는 것이 답
실무에서는 섞어 씁니다. 민감하지 않은 일반 업무는 외부 AI로 빠르게, 견적서와 계약서처럼 밖에 나가면 안 되는 자료는 사내 AI에서 다룹니다. 자료가 민감하지 않고 이미 외부 AI를 잘 쓰고 있다면 굳이 사내에 둘 이유가 없고, 한별시스템도 그렇게 말씀드립니다.
판단 기준은 자료의 민감도와 사용 빈도입니다
첫 번째 기준은 AI에 넣는 자료의 성격입니다. 공개된 정보나 일반 문장 다듬기라면 외부로 나가도 문제가 없습니다. 견적서, 계약서, 고객 명단, 급여 자료처럼 밖에 나가면 곤란한 자료를 다루는 일이라면 사내 AI 쪽이 맞습니다.
두 번째 기준은 비용을 실제로 계산해 보는 것입니다. 구독료에 사용 인원과 12개월을 곱해 1년 치를 낸 뒤 사내 AI 구축 비용과 비교합니다. 한두 명이 가끔 쓰면 구독이 싸고, 부서 단위로 매일 쓰면 몇 년 안에 역전됩니다. 사내 AI는 사람이 늘어도 비용이 같이 늘지 않는다는 점이 계산에서 큰 차이를 만듭니다.
세 번째 기준은 필요한 답의 수준입니다. 긴 글 창작, 코드 작성, 복잡한 추론은 큰 모델이 필요하고 이는 클라우드가 맞습니다. 사내 문서를 찾아 요약하고 정해진 양식으로 정리하는 일은 소형 모델로도 됩니다. 업무를 아래처럼 나눠 보면 어느 쪽이 맞는지 드러납니다.
| 업무 | 맞는 쪽 |
|---|---|
| 사내 규정·매뉴얼에서 찾아 답하기 | 사내 AI |
| 견적서·계약서 초안 검토 | 사내 AI |
| 민감한 내용이 든 회의록 요약 | 사내 AI |
| 광고 문구·블로그 글 창작 | 클라우드 AI |
| 프로그램 코드 작성 | 클라우드 AI |
| 일반 내용의 영어 이메일 번역 | 클라우드 AI |
사내 AI의 한계를 실측 그대로 말씀드립니다
한별시스템이 자사 NAS(Ryzen V1500B, RAM 4GB, GPU 없음)에서 2026년 8월 3일부터 운영 중인 사내 AI는 0.6B와 1.7B 두 소형 모델을 씁니다. 답변까지 0.6B는 7~29초, 1.7B는 16~60초가 걸리고 생성 속도는 초당 11~12 토큰입니다. 클라우드 AI의 즉답에 익숙하면 느리게 느껴집니다.
숫자 계산을 간헐적으로 틀리는 사례가 있어 화면에 참고용 고지를 붙였습니다. 금액 합산이나 통계는 AI 답을 그대로 쓰지 않고 원본 표를 확인하는 방식으로 운영합니다. 이 정도 한계를 감수할 만한 업무인지가 도입 판단의 실제 기준입니다.
GPU가 있는 장비를 쓰면 더 큰 모델을 올릴 수 있지만 그만큼 초기 비용이 올라갑니다. 어느 선에서 멈출지는 업무 목록을 보고 같이 정합니다. 사내 AI 안내는 /ai/ 에서 보실 수 있습니다.