AI를 도입하려면 뭐부터 물어봐야 하나요?

첫 질문

우리 회사에서 사람들이 가장 많이 찾아 헤매는 자료가 무엇인지부터 정리해 보세요. 그 한 가지를 AI가 찾아 주게 만드는 것이 1단계입니다. 장비 사양이나 모델 이름부터 정하고 시작하면 대부분 도중에 멈춥니다.

그다음에 물어야 할 세 가지

찾을 자료를 하나 정했다면 다음은 그 자료의 상태를 묻는 차례입니다. 첫째, 어디에 있는가. NAS 한 폴더에 모여 있으면 바로 시작할 수 있지만 직원 개인 PC와 메일함, 메신저에 흩어져 있으면 AI보다 정리가 먼저입니다. 둘째, 글자로 읽히는가. 워드·엑셀·한글 파일은 AI가 바로 읽지만 스캔한 이미지 PDF나 사진은 문자 인식을 거쳐야 합니다. 셋째, 얼마나 자주 바뀌는가. 매일 갱신되는 자료는 AI가 최신 상태를 보게 하는 연결 방식까지 같이 정해야 합니다.

여기에 두 가지를 더 확인하면 실망할 일이 줄어듭니다. 답을 몇 초 안에 받아야 하는가. 그리고 틀린 답이 나왔을 때 누가 어떻게 걸러 내는가. 이 두 답에 따라 필요한 장비 크기와 화면에 붙여야 할 안내가 달라집니다.

작게 시작하면 장비도 작아도 됩니다

한 가지 자료만 찾게 하는 첫 단계는 GPU 없는 NAS로도 됩니다. 한별시스템은 자사 NAS(Ryzen V1500B, RAM 4GB, GPU 없음)에서 0.6B와 1.7B 소형 모델을 돌리고 있습니다. 답변까지 0.6B는 7~29초, 1.7B는 16~60초가 걸리고 생성 속도는 초당 11~12토큰, 상주 메모리는 약 2.1GB입니다. 대화형 챗봇처럼 즉답을 기대하면 느리게 느껴지지만, 찾는 데 10분 걸리던 문서를 1분 안에 짚어 주는 용도로는 충분한 속도입니다.

같은 실측에서 소형 모델이 숫자 계산을 간헐적으로 틀리는 것도 확인했습니다. 그래서 첫 단계에서는 AI가 답을 지어내게 하지 말고 근거가 되는 원본 문서를 함께 보여 주는 형태로 잡는 편이 안전합니다. 사람이 원본을 열어 확인하는 습관이 붙으면 틀린 답이 나와도 사고로 이어지지 않습니다. 이 단계에서 만족스러우면 그때 메모리를 늘리거나 더 큰 모델을 검토하면 됩니다.

효과가 났는지 어떻게 판단하나

다음 단계로 갈지 말지는 느낌이 아니라 숫자로 정하는 것이 좋습니다. 시작 전에 그 자료를 찾는 데 평균 몇 분이 걸리는지, 하루에 몇 번 찾는지를 일주일만 적어 둡니다. 도입 후 같은 항목을 다시 재면 줄어든 시간이 그대로 효과입니다. 여기에 AI가 엉뚱한 문서를 짚은 횟수를 같이 세면 정확도도 나옵니다.

시간이 줄고 틀린 횟수가 감당할 수준이면 두 번째 자료로 넓힙니다. 시간이 안 줄었다면 모델을 키우기 전에 자료 정리 상태를 먼저 의심해 보셔야 합니다. 대부분은 폴더 이름과 파일 제목이 제각각이라 AI가 찾지 못하는 경우입니다.