클라우드 AI 서비스를 구독하는 것과 비교하면 어떤가요?
속도와 품질은 클라우드 AI가 앞섭니다. 대신 인원수만큼 매달 구독료가 나가고 자료가 외부로 전송됩니다. 사내 AI는 반대로 초기 구축 비용이 들지만 그 뒤로는 전기료 수준이고 자료가 나가지 않습니다.
자료가 민감하지 않고 이미 잘 쓰고 계시면 굳이 사내에 두실 필요 없습니다. 저희도 그런 경우에는 권하지 않습니다.
항목별 비교
속도와 품질은 외부 AI가 앞섭니다. 사내 AI를 두는 이유는 자료가 밖으로 나가지 않는다는 점 하나입니다. 자료가 민감한 회사에는 이 하나가 나머지를 덮습니다.
| 항목 | 외부 AI 구독 | 사내 AI |
|---|---|---|
| 자료 전송 | 외부 서버로 | 사무실 밖으로 안 나감 |
| 비용 구조 | 인원수 × 매달 | 초기 구축 후 전기료 수준 |
| 사내 문서 활용 | 직접 올려야 함 | 사내 자료 자동 검색 |
| 권한 관리 | 회사가 통제 어려움 | 로그인 권한 범위로 제한 |
| 중단 위험 | 서비스 정책에 영향 | 회사가 직접 통제 |
둘 다 쓰는 것이 답
실무에서는 섞어 씁니다. 민감하지 않은 일반 업무는 외부 AI로 빠르게 처리합니다. 견적서와 계약서처럼 밖에 나가면 안 되는 자료는 사내 AI에서 다루고요. 자료가 민감하지 않고 이미 외부 AI를 잘 쓰고 있다면 굳이 사내에 둘 이유가 없습니다. 한별시스템도 그렇게 말씀드립니다.
판단 기준은 자료의 민감도와 사용 빈도입니다
자료의 성격이 첫 기준입니다. 공개된 정보나 일반 문장 다듬기라면 외부로 나가도 문제가 없어요. 견적서, 계약서, 고객 명단, 급여 자료처럼 밖에 나가면 곤란한 자료라면 다릅니다. 그런 일은 사내 AI 쪽이 맞습니다.
비용도 실제로 계산해 봅니다. 구독료에 사용 인원과 12개월을 곱해 1년 치를 낸 뒤 사내 AI 구축 비용과 비교합니다. 한두 명이 가끔 쓰면 구독이 싸고, 부서 단위로 매일 쓰면 몇 년 안에 역전됩니다. 사내 AI는 사람이 늘어도 비용이 같이 늘지 않는다는 점이 계산에서 큰 차이를 만듭니다.
마지막은 필요한 답의 수준입니다. 긴 글 창작, 코드 작성, 복잡한 추론은 큰 모델이 필요하고 이는 클라우드가 맞습니다. 사내 문서를 찾아 요약하고 정해진 양식으로 정리하는 일은 소형 모델로도 됩니다. 업무를 아래처럼 나눠 보면 어느 쪽이 맞는지 드러납니다.
| 업무 | 맞는 쪽 |
|---|---|
| 사내 규정·매뉴얼에서 찾아 답하기 | 사내 AI |
| 견적서·계약서 초안 검토 | 사내 AI |
| 민감한 내용이 든 회의록 요약 | 사내 AI |
| 광고 문구·블로그 글 창작 | 클라우드 AI |
| 프로그램 코드 작성 | 클라우드 AI |
| 일반 내용의 영어 이메일 번역 | 클라우드 AI |
사내 AI의 한계를 실측 그대로 말씀드립니다
한별시스템은 자사 NAS(Ryzen V1500B, RAM 4GB, GPU 없음)로 사내 AI를 돌립니다. 2026년 8월 3일부터 운영 중이고, 모델은 0.6B와 1.7B 두 소형 모델을 씁니다. 답변까지 0.6B는 7~29초, 1.7B는 16~60초. 생성 속도는 초당 11~12 토큰입니다. 클라우드 AI의 즉답에 익숙하면 느리게 느껴집니다.
숫자 계산을 간헐적으로 틀리는 사례가 있어 화면에 참고용 고지를 붙였습니다. 금액 합산이나 통계는 AI 답을 그대로 쓰지 않고 원본 표를 확인하는 방식으로 운영합니다. 이 정도 한계를 감수할 만한 업무인지가 도입 판단의 실제 기준입니다.
GPU가 있는 장비를 쓰면 더 큰 모델을 올릴 수 있지만 그만큼 초기 비용이 올라갑니다. 어느 선에서 멈출지는 업무 목록을 보고 같이 정합니다. 사내 AI 안내는 /ai/ 에서 보실 수 있습니다.