먼저 시험해 보고 결정할 수 있나요?
가능합니다. 고객사 도입은 현재 상담과 파일럿 단계로 진행하고 있습니다. 되는 것과 안 되는 것을 먼저 말씀드린 뒤 시작합니다.
파일럿에서 직원들이 실제로 쓰지 않으면 그 자리에서 멈추시는 편이 낫습니다. 저희도 그렇게 권합니다.
파일럿 방식
고객사 도입은 현재 상담과 파일럿 단계로 진행합니다. 되는 것과 안 되는 것을 먼저 말씀드린 뒤 시작하고, 파일럿에서 직원들이 실제로 쓰지 않으면 그 자리에서 멈추시는 편이 낫습니다. 1단계는 장비를 추가하지 않아 멈춰도 잃는 것이 없습니다.
파일럿에서 무엇을 확인해야 하나
시험 기간에 확인할 것은 세 가지로 좁히는 편이 좋습니다. 첫째, 실제 업무 질문에 쓸 만한 답이 나오는가. 둘째, 그 답이 나오기까지 기다릴 수 있는 시간인가. 셋째, 직원이 시키지 않아도 다시 여는가. 이 셋 중 하나라도 아니면 장비를 키워도 해결되지 않는 경우가 많습니다.
속도 기대치는 실측 기준으로 잡으셔야 합니다. 한별시스템이 자사 NAS(Ryzen V1500B, RAM 4GB, GPU 없음)에서 운영 중인 사내 AI는 0.6B 모델이 답변 하나에 7~29초, 1.7B 모델이 16~60초 걸립니다. 생성 속도는 초당 11~12토큰 수준입니다. 챗GPT처럼 즉답을 기대하고 시작하면 실망하고, 문서를 찾아 요약해 주는 도우미로 기대하면 쓸 만합니다. 이 차이를 시험 전에 직원들에게 미리 알려 두는 것이 파일럿 성패를 가릅니다.
정확도도 있는 그대로 보셔야 합니다. 소형 모델은 숫자 계산을 간헐적으로 틀립니다. 저희 화면에도 참고용 고지를 띄우고 근거 원본을 같이 보여 주는 이유입니다. 파일럿 중에 틀린 답이 나오면 그것을 실패로 볼 것이 아니라, 어떤 질문 유형에서 틀리는지 기록해 두는 것이 이후 판단 자료가 됩니다.
회사 쪽에서 준비할 것
장비보다 자료 정리가 먼저입니다. AI가 찾을 문서가 NAS의 어느 폴더에 있는지, 최신본과 옛 버전이 섞여 있지는 않은지, 외부에 나가면 안 되는 자료가 시험 범위에 들어가는지 정리해 두셔야 합니다. 폴더가 뒤섞여 있으면 AI가 옛 자료를 근거로 답하고, 사람은 AI가 틀렸다고 느낍니다.
시험할 업무를 한두 가지로 정합니다. 견적 기준 찾기, 사내 규정 문의, 과거 작업 기록 조회처럼 매일 반복되고 답이 문서에 있는 일이 맞습니다. 창작이나 외부 정보가 필요한 일은 소형 로컬 모델의 몫이 아니므로 시험 대상에서 빼는 것이 낫습니다.
쓸 사람도 정합니다. 처음부터 전 직원에게 열기보다 실제로 그 문서를 자주 찾는 직원 몇 명이 먼저 써 보고 질문과 답을 남겨 두면, 결과를 놓고 이야기하기 쉽습니다.
시험이 끝난 뒤의 갈림길
결과는 대개 세 갈래입니다. 답도 쓸 만하고 직원도 계속 열면 본 도입으로 넘어갑니다. 이때 시험에서 확인된 질문 유형과 문서 범위를 그대로 가져가면 됩니다. 답은 쓸 만한데 느려서 답답하다면 장비 사양이나 모델 크기를 조정하는 문제이고, 이건 비용과 맞바꿀 수 있는 항목입니다.
답이 업무에 안 맞거나 직원이 안 쓰면 보류가 맞습니다. 이 경우 NAS 자체는 파일 서버와 백업 장비로 그대로 쓰시면 되므로 투자가 사라지지 않습니다. 사내 AI는 NAS 위에 얹는 기능이지 NAS를 사기 위한 이유가 아닙니다. 어느 갈래든 시험 결과를 근거로 결정하는 것이 목적이고, 상담은 053-588-7119 로 주시면 됩니다.