한국어로 물어도 잘 알아듣나요?

한국어로 됩니다

한별시스템 사내 AI는 전부 한국어로 쓰고 있습니다. 소형 모델도 한국어 질문과 답변이 되지만, 문장이 길고 복잡할수록 정확도가 떨어져 짧고 명확하게 묻는 편이 낫습니다. 대구중앙병원 접수내역처럼 고유명사와 항목을 붙여 물으면 잘 찾습니다.

질문 요령

한 번에 하나만 묻기, 거래처명이나 날짜처럼 찾을 단서를 넣기, 계산이 필요하면 원본 숫자를 같이 확인하기. 이 세 가지를 사내 사용 가이드로 만들어 드립니다.

한국어가 영어보다 느리고 어려운 이유

AI 모델은 글을 토큰이라는 조각으로 잘라 읽습니다. 영어는 단어 하나가 대개 토큰 하나지만 한국어는 한 단어가 두세 조각으로 쪼개집니다. 같은 뜻의 문장이라도 한국어가 토큰을 더 많이 쓰고, 그만큼 모델이 한 번에 붙들 수 있는 문맥이 짧아집니다.

속도에도 영향이 있습니다. 한별시스템 사내 AI의 생성 속도는 초당 11~12토큰인데, 한국어는 글자 수에 비해 토큰이 많으니 같은 분량의 답이라도 영어보다 오래 걸립니다. 답을 짧게 요구하는 것이 품질과 속도 양쪽에 이롭습니다.

조사와 어미가 바뀌는 것도 소형 모델에는 부담입니다. 찾았다, 찾아서, 찾으면, 찾았는데가 모두 다른 조각으로 들어옵니다. 학습 데이터에서 한국어 비중이 영어보다 작은 것까지 겹쳐, 한 문장에 조건을 두세 개 넣으면 하나를 빠뜨리는 일이 생깁니다.

용어 표기를 맞추는 일이 절반입니다

사내 AI는 회사 문서에서 관련 부분을 찾아 그것을 근거로 답하는 구조입니다. 그래서 문서에 적힌 말과 질문에 쓴 말이 같아야 잘 찾습니다. 문서에는 복합기라고 써 두고 복사기로 물으면 놓칠 수 있습니다. 부서마다 다르게 부르는 이름, 사내에서만 쓰는 약어는 모델이 알 길이 없습니다.

도입 초기에 할 일은 용어 통일표입니다. 정식 명칭, 현장에서 부르는 이름, 영문 모델명을 한 줄에 적어 두면 문서를 새로 쓸 때 기준이 되고 질문할 때도 참고가 됩니다. 문서 자체를 고칠 수 없다면 질문에 두 가지 표기를 같이 넣는 방법도 있습니다.

숫자는 따로 조심해야 합니다. 3만 5천 원처럼 한국어 단위가 섞인 표기는 모델이 계산에서 틀리기 쉽습니다. 한별시스템 사내 AI도 숫자 계산이 간헐적으로 틀려 화면에 참고용 고지를 두고 있습니다. 문서에는 35,000원처럼 아라비아 숫자와 단위를 붙여 쓰는 편이 안전하고, 금액 합계는 AI 답을 그대로 믿지 말고 원본으로 확인합니다.

모델 크기를 바꾸면 달라지는 것

한별시스템 사내 AI는 0.6B와 1.7B 두 모델을 화면에서 바꿔 쓸 수 있습니다. 모델이 클수록 한국어 문장이 자연스럽고 긴 질문을 덜 놓치지만 답은 느려집니다. 짧은 검색은 작은 모델로, 문서 요약이나 조건이 여러 개인 질문은 큰 모델로 나눠 쓰는 것이 실용적입니다.