제조 기업의 AI 도입 검토 회의에서 자주 나오는 이야기가 있습니다. 검색은 잘 되는데 업무 처리는 여전히 사람이 마무리한다는 것입니다. 사내 AI 검색은 절차서와 작업표준뿐 아니라 생산관리시스템의 설비 상태와 당일 생산 일정, 전사자원관리의 재고와 주문, 메일까지 조회해 근거와 함께 답변합니다. 하지만 담당자의 업무는 남습니다. 담당자는 현재 운영 상태가 답변과 일치하는지 확인하면서 예외 여부를 판단하고 결재를 올리며, 확정된 결과는 원래 시스템에 다시 입력까지 하여야 합니다.
TL;DR (핵심 요약)
검색·조회는 자료 탐색, 근거 제시, 요약을 담당합니다.
업무를 종결하려면 현재 상태 확인, 예외 판단, 승인, 시스템 반영이 더 필요합니다.
질의응답 프로세스는 답변으로 끝나고, 업무 실행 프로세스는 상태 갱신으로 끝납니다.
RAG 검색은 기록된 문서에 강합니다. 조회한 설비 상태·재고·주문 값은 판단 시점의 값과 달라질 수 있습니다.
검색·조회가 해결한 것은 자료 탐색, 근거 제시, 요약이다
검색·조회(Retrieval)는 질의에 맞는 자료를 찾아 제시하는 단계입니다.
RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 검색한 근거로 답변을 생성하는 방식입니다. 이 방식을 정리한 개관 논문은 RAG를 대형 언어모델의 환각, 오래된 지식, 추적할 수 없는 추론 과정을 보완하는 방법으로 설명합니다. 환각은 모델이 근거 없는 내용을 사실처럼 생성하는 현상이며, RAG는 이를 보완하기 위하여 근거를 제시하는 기술입니다.
업무를 종결하려면 현재 상태 확인, 예외 판단, 승인, 시스템 반영이 더 필요하다
하지만 근거 제시만으로 업무가 종결되지는 않습니다. ‘현재 운영 상태’는 업무 진행 단계, 설비·로트·재고의 현재 값, 확정 권한자 정보처럼 판단 시점에 유효한 업무 정보를 말합니다. 하지만 현재 상태 확인 이외에 예외 판단, 승인, 시스템 반영은 현재 운영 상태와 조치 결과의 변화를 함께 다루므로 검색만으로 해결되지 않습니다. 이런 상태와 인과 관계를 표현하는 모델을 ‘월드모델’이라고 합니다. 퓨처워크랩은 여기에서 더 나아가 월드모델을 회사 단위로 구축한 것을 ‘비즈니스 월드모델’이라고 부릅니다. 구성 요소는 비즈니스 월드모델이란 무엇인가에서 다룹니다.
국내 기업이 꼽은 AI 도입 효과 1위는 시간 단축이다
AI 도입 효과로 측정하는 시간에는 검색 이후 단계도 포함됩니다. 대한상공회의소와 산업연구원이 2024년 8월 발표한 기업 500개사 대상 실태 조사에 따르면, AI를 활용한다고 답한 기업은 30.6퍼센트, 제조업은 23.8퍼센트입니다. 도입 효과로는 시간 단축이 가장 많이 꼽혔습니다(45.8퍼센트). 하지만 업무 전체의 시간 단축은 단위업무가 아닌 하나의 워크플로우가 속한 업무전체의 종결 시점까지 측정하여야 확인됩니다.
질의응답 프로세스와 업무 실행 프로세스는 종료 시점이 다르다
보통 이 종료 시점은 프로세스마다 다릅니다. 질의응답 프로세스는 질의에서 시작해 검색을 거쳐 답변으로 끝납니다. 업무 실행 프로세스는 현재 상태 확인에서 시작해 판단, 실행, 결과 확정을 거칩니다. 마지막 단계는 상태 갱신입니다. 상태 갱신은 업무가 끝나는 시점에 시스템에 기록된 값이 새 값으로 바뀌는 것입니다.
출하 보류 한 건으로 두 프로세스의 접점을 확인할 수 있다
질의응답 프로세스와 업무 실행 프로세스의 종료 조건 차이의 예시는 출하 보류 로트 한 건을 예시로 들 수 있습니다. 담당자가 보류 사유를 질의하면 AI가 검사 성적서, 작업표준, 과거 일탈 기록(기준 이탈 사례 기록)을 검색해 사유를 제시합니다. 출하 여부는 아직 미정입니다.
업무 실행 프로세스는 그다음에 시작됩니다. 출하 가능 여부는 현재 재고, 당일 출하 일정, 대체 로트 유무를 보고 판단하며, 출하하기로 하면 담당자가 출하 조건을 정하고, 결재권자가 이를 확정합니다. 확정된 결정은 품질관리 시스템과 출하 지시에 반영됩니다.
AI가 보류 사유를 정확히 제시해도 로트가 보류 상태이면 업무는 미결입니다. ‘답변 이후 경과 시간’은 답변 시각과 상태 갱신 시각의 차이입니다.
단계별로 검색과 담당자의 처리 범위가 다르다
답변 이후 경과 시간이 생기는 단계는 아래 표와 같습니다.
단계 | 검색·조회의 역할 | 담당자의 수작업 |
|---|---|---|
상황 파악 | 기록과 근거 수집 | 현재 설비·재고 값과 대조 |
판단 | 관련 규정과 과거 사례 제시 | 예외 여부 결정 |
실행 | — | 시스템 입력·작업 지시 |
확정 | — | 결재권자 승인 |
반영 | — | 원래 시스템에 결과 기록 |
상황 파악과 판단 단계도 검색 결과가 부정확하면 담당자가 처리합니다.
RAG의 한계는 실시간으로 바뀌는 값에서 드러난다
검색 결과가 부정확해지는 대표적인 경우는 실시간 값입니다. 설비 상태, 생산 실적, 재고, 주문은 절차서와 달리 수시로 바뀌기 때문입니다. 또 다른 개관 논문도 시간에 따라 데이터가 달라지면 검색 성능이 떨어진다고 지적합니다.
검색 정확도를 높여도 담당자의 업무 시간은 그대로일 수 있다
검색 성능이 떨어지면 사내 AI 검색의 개선은 보통 문서 검색 품질에 집중됩니다. 문서 분할 단위를 줄이고 순위 산정 방식을 바꾸면 답변 품질은 좋아지지만, 결재 상신과 시스템 입력 절차가 그대로라면 그 절차의 소요 시간은 줄지 않습니다.
업무 유형 하나로 세 가지 지표를 측정할 수 있다
이처럼 검색 이후 절차의 병목은 업무 종결 기준 지표로 드러나므로, 지난달 처리한 업무 유형 하나부터 측정하시기를 권합니다.
수작업 없는 종결 비율 — 담당자 수작업 없이 상태 갱신까지 끝난 건 ÷ 전체 처리 건. 필수 승인은 수작업에서 제외
수작업 개입 횟수 — 한 건 처리 중 담당자의 조회·입력·수정 횟수. 필수 승인은 별도 집계
결과까지 걸린 시간 — 답변 시각부터 상태 갱신 시각까지의 경과 시간
AX Flow는 검색·조회를 판단 앞 단계에 둔다
AX Flow는 상태 갱신까지 업무 실행 프로세스 전체를 처리하는 제품입니다. AX Flow의 데이터 연결 계층은 절차서 같은 문서, 생산관리·전사자원관리·품질관리 시스템의 API 데이터, 현장의 메일·음성 기록을 수집합니다. 첫 단계에서 검색·조회가 근거를 모으면 AX Flow가 판단 기준에 따라 처리안을 제시합니다. 결재권자가 처리안을 확정하면 결과가 원래 시스템에 기록되고, 승인 이력과 판단 근거도 감사 기록으로 남습니다.
세 가지 검색 방식은 담당 범위가 다르다
‘Triple-RAG’는 AX Flow의 검색·조회 단계에서 의미 기반 검색, 키워드 검색, 관계 기반 검색을 함께 쓰는 검색 구성입니다. 세 방식은 각각 뜻이 가까운 문장, 품번처럼 문자가 같은 항목, 데이터 간 연결을 찾습니다. 원리는 Graph-RAG의 제조 적용 방식에서 설명합니다.
정리하며
하지만 검색 방식과 관계없이 업무 종결 시점은 상태 갱신 시각입니다. 결과까지 걸린 시간에는 수작업 외에 승인 대기, 작업 일정 대기, 시스템 연동 지연도 포함되므로, 구간별로 나누어 보면 수작업 시간의 비중을 확인할 수 있습니다.
도입 상담 요청하기 · 답변 이후 경과 시간을 업무 한 건 기준으로 함께 측정해 드립니다.
자주 묻는 질문 (FAQ)
기존 RAG를 폐기하고 새로 구축할 필요가 있나요?
그럴 필요는 없습니다. 검색·조회는 업무 실행 프로세스의 첫 단계를 맡습니다. 달라지는 것은 검색 다음에 연결하는 판단, 승인, 상태 갱신 단계입니다.
검색 정확도를 더 올리면 이 문제가 해결되나요?
답변 품질은 좋아집니다. 그러나 답변 이후의 상태 확인과 승인 절차는 그대로 남습니다.
회사의 현재 운영 상태를 파악한다는 것은 무엇을 뜻하나요?
업무의 진행 단계, 설비·로트·재고의 현재 값, 확정 권한자를 한곳에서 조회할 수 있는 상태입니다. 이 정보는 대개 생산관리·전사자원관리·품질관리 시스템에 있습니다.
검색과 상태 관리를 따로 도입해도 되나요?
가능합니다. 다만 두 시스템의 상태 갱신 시점, 연동 방식, 승인 권한, 결과 반영 여부를 맞추어야 합니다. 이 조건이 맞지 않으면 답변과 실제 상태가 어긋납니다.
참고한 것
Yunfan Gao 외, 「Retrieval-Augmented Generation for Large Language Models: A Survey」, arXiv:2312.10997(2023)
Chaitanya Sharma, 「Retrieval-Augmented Generation: A Comprehensive Survey of Architectures, Enhancements, and Robustness Frontiers」, arXiv:2506.00054(2025)
대한상공회의소·산업연구원, 「국내기업 AI 기술 활용 실태 조사」 보도자료(2024-08-29)