사내 AI 도입은 어떤 순서로 진행하나요?

왜 한 번에 하지 않나

AI는 도입보다 정착이 어렵습니다. 직원들이 하루에 몇 번 쓰는지 확인되지 않은 상태에서 서버를 사면 몇 달 뒤 꺼져 있는 장비가 됩니다. 1단계는 장비를 추가하지 않아 실패해도 잃는 것이 없고, 여기서 쓰임이 확인되면 2단계로 올라갈 근거가 생깁니다.

2단계로 올라가는 신호

직원이 하루에도 몇 번씩 예전 자료를 찾아 헤맨다, 외부 챗봇에 회사 자료를 붙여 넣는 일이 이미 벌어지고 있다, 개인정보나 기밀 때문에 외부 AI를 쓸 수 없다고 판단했다, NAS에 수 TB 이상 자료가 쌓여 있고 계속 늘고 있다. 이 중 둘 이상이면 2단계 검토 시점입니다.

단계마다 먼저 확인할 것

1단계는 새 장비를 사는 단계가 아닙니다. 지금 쓰는 NAS의 공유 폴더가 어떻게 정리돼 있는지가 결과를 좌우합니다. 폴더 이름이 제각각이고 같은 문서가 여러 곳에 흩어져 있으면 AI가 찾아 준 결과도 그만큼 흐려집니다. 그래서 1단계 준비는 자료 정리와 권한 정리에서 시작합니다. 누가 어느 폴더를 볼 수 있는지 정해 두어야 AI 검색 결과에도 같은 권한이 그대로 적용됩니다.

2단계는 NAS 안에 모델을 상주시키므로 NAS의 메모리 여유가 관건입니다. 한별시스템 자사 NAS(Ryzen V1500B, RAM 4GB, GPU 없음)에서 소형 모델이 상주할 때 약 2.1GB를 쓰는 것을 실측했습니다. 메모리가 빠듯한 장비라면 파일 공유와 AI가 서로 자리를 다투게 되므로, 올라가기 전에 메모리 증설이 되는 모델인지부터 봅니다.

3단계는 GPU를 얹은 별도 서버라 전기, 발열, 소음, 둘 자리를 같이 봐야 합니다. 책상 옆에 조용히 두는 NAS와 달리 발열이 있어 설치 공간부터 정해야 합니다. 장비값보다 이 준비가 늦어 도입이 미뤄지는 경우가 흔합니다.

기다릴 수 있는가로 단계를 고릅니다

2단계 소형 모델의 답변은 빠르지 않습니다. 자사 실측으로 0.6B 모델이 7~29초, 1.7B 모델이 16~60초였고, 생성 속도는 초당 11~12토큰이었습니다. 문서 하나 요약을 걸어 두고 다른 일을 하다 돌아오는 방식이면 충분하고, 채팅하듯 즉답을 기대하면 답답합니다.

그래서 단계 선택은 얼마나 똑똑한가보다 얼마나 기다릴 수 있는가로 판단하는 편이 맞습니다. 하루 몇 번 문서를 찾고 요약하는 정도면 2단계로 충분합니다. 여러 직원이 동시에 붙어 실시간으로 쓰려면 3단계 GPU가 필요합니다.

숫자 계산은 소형 모델이 간헐적으로 틀립니다. 자사 화면에도 참고용 고지를 붙여 두었습니다. 견적 합계나 재고 수량처럼 숫자가 중요한 일은 어느 단계든 사람이 원본을 확인하는 절차를 남겨 두어야 합니다.

시작 전에 정해 둘 세 가지

어느 단계로 시작하든 세 가지는 미리 정해 둡니다. 첫째, AI가 읽어도 되는 폴더와 읽으면 안 되는 폴더입니다. 급여와 인사 자료는 처음부터 빼 두는 편이 안전합니다. 둘째, 담당자 한 명입니다. 직원들이 어디에 물어볼지 모르면 쓰지 않게 됩니다. 셋째, 한 달 뒤 무엇을 보고 다음 단계를 판단할지입니다. 질문 횟수나 찾아낸 문서 수처럼 세어 볼 수 있는 기준을 하나 정해 두면 2단계 판단이 쉬워집니다.

지금 쓰시는 NAS 모델과 인원수를 알려 주시면 시작 단계를 같이 정합니다. 자세한 구성은 /ai/ 페이지에 있습니다.