우리 회사에 사내 AI가 필요한지 어떻게 판단하나요?

판단표

자료가 민감한가, 자료가 많은가 두 축으로 봅니다.

방문해서 보는 것

자료가 어디에 얼마나 쌓여 있는지, 직원들이 무엇을 못 찾아 헤매는지부터 봅니다. 보고 나서 필요 없으면 필요 없다고 말씀드립니다. 실제로 직원 5명 이하이고 문서가 많지 않은 곳에는 백업부터 제대로 잡으시라고 권합니다. 상담과 방문 견적은 무료입니다.

질문 세 개로 해보는 자가 점검

저희가 방문하기 전에 사무실에서 먼저 해볼 수 있는 점검이 있습니다. 첫째, 직원끼리 한 주에 몇 번이나 그 파일 어디 있느냐, 그때 견적이 얼마였느냐 같은 질문을 주고받는지 세어 보십시오. 이런 질문이 하루에도 여러 번 나오면 사내 AI가 대신 답할 거리가 있는 회사입니다.

둘째, 그 답이 이미 파일로 남아 있는지 보십시오. 사내 AI는 회사 NAS 안에 있는 자료를 읽고 답합니다. 답이 담당자 머릿속에만 있고 문서로는 없다면 AI를 붙여도 근거가 없어 답하지 못합니다. 이런 회사는 AI보다 기록을 남기는 습관이 먼저입니다.

셋째, 그 자료를 외부 AI 질문 창에 붙여 넣어도 괜찮은지 스스로 물어보십시오. 붙여 넣기가 꺼려지는 자료가 대부분이면 사내 AI 쪽이 맞고, 어디에 올려도 상관없는 자료뿐이면 굳이 회사 장비 안에서 돌릴 이유가 적습니다.

기대치와 장비 성능을 먼저 맞춰야 합니다

사내 AI는 회사 장비 성능만큼만 답합니다. 한별시스템 자사 NAS(Ryzen V1500B, RAM 4GB, GPU 없음)에서 실측한 값으로 0.6B 모델은 답변에 7~29초, 1.7B 모델은 16~60초가 걸립니다. 생성 속도는 초당 11~12토큰 정도입니다. 외부 AI처럼 바로 답이 나오길 기대하면 실망하게 됩니다.

그래서 판단 기준에 하나를 더 넣으시길 권합니다. 자료를 밖으로 내보내지 않는 대신 답을 수십 초 기다리는 것을 직원들이 받아들일 수 있는가입니다. 하루 몇 번 사내 문서를 찾아 요약하는 용도라면 대부분 받아들이고, 채팅하듯 쉴 새 없이 주고받는 용도라면 맞지 않습니다.

소형 모델은 숫자 계산을 간헐적으로 틀립니다. 저희도 이 때문에 화면에 참고용 고지를 띄워 두고 운영합니다. 금액 합산이나 재고 수량처럼 틀리면 안 되는 계산을 맡기려는 목적이라면 사내 AI는 맞는 도구가 아니고, 그 일은 엑셀이나 업무 프로그램이 할 일입니다.

필요하다는 결론이 나면 순서는 이렇습니다

판단이 필요하다 쪽으로 기울어도 AI 장비부터 사지는 않습니다. 순서는 자료를 한곳에 모으는 NAS, 그 자료를 지키는 3-2-1 백업, 그 위에 올리는 사내 AI입니다. AI는 NAS 안의 자료를 읽는 도구라서 자료가 개인 PC에 흩어져 있으면 읽을 것이 없습니다.

이미 NAS를 쓰고 백업까지 잡혀 있는 회사라면 새 장비 없이 기존 NAS 위에 올려 시험해 볼 수 있는 경우가 있습니다. 관건은 메모리입니다. 저희 실측으로 모델이 상주할 때 약 2.1GB를 쓰므로, NAS 메모리가 작고 이미 다른 서비스가 여럿 돌고 있으면 시험 전에 여유 메모리부터 확인해야 합니다.

시험은 직원 한두 명이 실제 업무 질문을 2주 정도 던져 보고 답이 쓸 만한지 보는 정도면 충분합니다. 이 단계에서 별 도움이 안 된다는 결론이 나면 그것도 정확한 판단이고, 든 비용은 시험에 쓴 시간 정도입니다. 판단이 어려우면 053-588-7119로 현재 NAS 사양과 직원 수를 말씀해 주시면 시험이 가능한지부터 알려 드립니다.