외부로 못 보내는 제조 데이터, AI는 어떻게 쓰나 — 온프레미스 경량 LLM 보안 구조

도면·배합비·공정 데이터를 회사 밖으로 내보낼 수 없는 조건에서도 AI를 쓰는 방법은 있습니다. 문서를 검색 가능한 형태로 바꾸는 단계부터 답을 만드는 단계까지 전 과정을 사내 서버 안에서 끝내는 구조 — 온프레미스 경량 LLM(lightweight LLM)입니다. 규제 제조에서 보안은 도입한 뒤에 챙기는 부수 조건이 아니라 검토를 시작할 수 있는지를 가르는 첫 관문입니다. 보안심사를 통과하지 못한 솔루션은 성능을 보여줄 기회 자체를 얻지 못합니다.

법·제도 내용은 작성 시점(2026년 7월) 기준이며 적용 범위는 기관·품목·계약마다 다르므로 관할 기관과 법률 자문으로 확인하십시오.

TL;DR (핵심 요약)

• 반출을 막는 것은 담당자의 불안이 아니라 법·계약입니다. 국가핵심기술·방위산업기술·발주처 도면·규제 기록은 각각 근거가 따로 있어 "일단 써 보자"가 성립하지 않습니다.

• 언어모델 한 곳만 사내로 옮기는 것으로는 부족합니다. 임베딩과 리랭킹까지 외부 API를 쓰면 문서 본문이 밖으로 나갑니다. 전 구간이 사내에 있어야 외부 유출이 0이 됩니다.

• 경량 모델의 정확도는 크기가 아니라 지식 구조에서 나옵니다. 사내 문서를 온톨로지·지식그래프로 정리하고 질의마다 필요한 검색 엔진만 골라 쓰면 GPU 한 대 규모에서도 실무 정확도가 나옵니다.

왜 못 보내나 — 반출을 막는 네 가지 근거

"보안 때문에 어렵다"는 말은 거부감으로 오해받곤 하지만, 규제 제조에서는 대부분 근거가 있는 제약입니다.

국가핵심기술·방위산업기술 — 법이 정한 보호 의무

「산업기술의 유출방지 및 보호에 관한 법률」은 반도체·디스플레이·이차전지 등의 국가핵심기술을 지정하고 보유기관에 보호조치와 수출·이전 승인 절차를 지웁니다(2024년 12월 통과한 개정법이 2025년 7월 22일 시행).¹ 방위산업 쪽은 더 구체적이어서, 방위산업기술 보호지침은 인터넷망 컴퓨터에서 웹하드·클라우드로 업무자료를 작성·저장하는 행위를 금지하고 외부 반출 시 전담부서 승인과 기록 관리를 요구합니다.² 이런 환경에서 외부 API로 문서를 보내는 방식은 기술적 선택지가 아니라 규정 위반입니다.

발주처 도면 — 비밀유지 계약의 제3자 제공 금지

수탁 가공·부품 제조에서 도면·사양서·검사 기준은 발주처 자산인 경우가 많고, 계약에 제3자 제공 금지 조항이 있으면 외부 서비스에 도면을 올리는 것 자체가 계약 위반 소지가 됩니다.

규제 기록 — 저장·접근·변경 이력의 설명 의무

GMP·HACCP 영역의 기록은 어디에 저장되고 누가 접근하며 언제 바뀌었는지를 설명할 수 있어야 하는데, 데이터가 통제 밖 시스템을 거치면 이 설명이 끊깁니다. 이 주제는 인증보다 감사추적과 데이터 완전성에서 따로 다루었습니다.

영업비밀 — 유출 우려와 통제

시스코의 2025년 데이터 프라이버시 조사에서 응답자 64%가 민감 정보가 공개되거나 경쟁사로 흘러갈 것을 우려한다고 답하였고, 동시에 절반에 가까운 응답자가 비공개 데이터를 생성형 AI 도구에 입력한 적이 있다고 답하였습니다.³

클라우드가 문제라는 뜻은 아닙니다 — 배포는 데이터 등급으로 정합니다

여기서 선을 하나 그어 둡니다. 온프레미스가 언제나 옳은 것은 아닙니다. 클라우드는 도입이 빠르고 운영 부담이 적으며 대부분의 업무 데이터에 충분히 안전한 선택지입니다. 온프레미스는 반대로 장비와 운영 인력이 필요합니다. 판단 기준은 제품이 아니라 데이터입니다.

표 1. 배포 방식은 제품 취향이 아니라 데이터 등급으로 정합니다.

퓨처워크랩의 AX Flow도 클라우드 시작과 온프레미스 분리를 함께 제공합니다. 아래에서 설명하는 구조는 그 가운데 "한 건도 내보낼 수 없는" 조건에서 성립하는 쪽입니다.

데이터를 내보내지 않는 AI는 어떤 구조인가

문서를 읽고 답하는 AI는 보통 네 단계를 거칩니다. 문서를 잘게 나누어 숫자 목록으로 바꾸고(임베딩), 질문과 가까운 후보를 찾아오고, 후보를 다시 줄 세우고(리랭킹), 언어모델이 답을 씁니다. 네 단계 중 하나라도 외부 API를 쓰면 그 단계에서 문서 본문이나 질문이 회사 밖으로 나갑니다. 언어모델만 사내로 옮기고 임베딩은 외부 서비스를 쓰는 구성이 흔한데, 임베딩이야말로 문서 전문이 통째로 전달되는 지점입니다.

퓨처워크랩이 적용하는 구성은 네 단계를 모두 사내에 둡니다.

• 답을 쓰는 모델 — 사내에 세운 vLLM 위에 공개 언어모델을 양자화하여 서빙합니다. vLLM은 Gemma·Qwen·Llama 같은 공개 모델을 사내 서버에서 여러 요청에 나누어 돌려주는 오픈소스 엔진이고,⁴ 양자화는 모델 내부 숫자의 자릿수를 줄여 크기를 압축하는 기법입니다. 짐을 진공포장하듯 줄어드는 것은 부피이지 내용물이 아닙니다. 그 덕분에 단일 온프레미스 GPU 노드(연산 카드를 얹은 서버 한 대)에서 실서비스 트래픽을 처리합니다. 현재 기본값은 Gemma 27B이고, 고객사의 언어·도메인·라이선스 조건에 따라 올릴 모델을 고릅니다. 고정되는 것은 모델 이름이 아니라 답을 만드는 연산이 사내에 남는다는 조건입니다.

• 임베딩과 리랭커 — 문서를 숫자로 바꾸는 snowflake-arctic-embed-l-v2.0-ko와 후보를 적합도 순으로 재정렬하는 bge-reranker-v2-m3-ko를 모두 사내에서 구동합니다. 둘 다 한국어 문서에 맞춘 모델이며 외부 API 호출이 없습니다.

• 저장소 — 그래프·벡터·키워드 색인을 사내에 둡니다. 원문도 색인도 나가지 않습니다.

문서가 들어오는 순간부터 답이 나가는 순간까지 데이터가 사내 경계를 넘지 않습니다. 외부 모델(GPT·Claude·Gemini)을 붙일 경로는 남아 있지만 기본값이 아니라 관리자가 여는 선택지이며, 폐쇄망에서는 이 경로를 닫습니다.

경량 모델로 정확도가 나오나

규모가 큰 모델이라고 하여 우리 공장의 설비 이름과 작업표준을 아는 것은 아닙니다. 정확도를 가르는 것은 모델 크기가 아니라 사내 지식이 어떻게 정리되어 있고 필요한 대목을 어떻게 찾아오느냐입니다. 도메인 특화 LLM(domain specific LLM)이 범용 대형 모델보다 실무에서 앞서는 이유도 여기에 있습니다.

첫째, 사내 문서를 온톨로지와 지식그래프로 구조화합니다. 설비·공정·자재·규정·문서를 관계로 이어 두면 흩어진 파일 더미가 아니라 조직의 지식 구조가 만들어집니다. 그 위에서 검색은 세 갈래입니다. 의미가 가까운 문장을 찾는 벡터·키워드 검색, 표·도면·수식까지 읽는 멀티모달 엔진, 관계를 여러 단계 건너뛰며 근거를 짚는 지식그래프 검색입니다. 이 셋을 묶은 것이 Triple-RAG이며, 원리는 온톨로지·지식그래프로 제조 데이터를 연결한다와 Graph RAG란 무엇인가에 있습니다.

둘째, 질의마다 필요한 엔진만 골라 씁니다. 세 엔진을 항상 동시에 돌리지 않습니다. 라우터가 질문의 난이도, 근거 필요도, 시간 제약을 보고 하나만 쓸지 둘을 쓸지 셋을 합칠지 정합니다. 단순 조회는 가벼운 엔진 하나로 끝내고, 근거가 필요한 질의에서만 셋을 합칩니다. 정확도를 올리면서 평균 연산량은 낮추는 이 구조가 온프레미스에서 특히 중요합니다. 서버 한 대로 감당하는 환경에서 모든 질문에 최대 자원을 쓰면 곧 응답 지연이 됩니다.

이 구조에서 확인한 결과는 브로넥스 PoC의 제조 질의응답 정확도 90.2%와 MES 생산 스케줄링 1시간에서 5분 수준입니다. 앞의 수치는 정답 단락 매칭을 기준으로 한 자체 정의 지표이며, 측정 환경과 평가셋은 PoC 진입 이후 재현 검증으로 공개합니다.

AX Flow는 답하는 데서 멈추지 않습니다. 이 지식 구조 위에서 에이전트가 조회·분석·문서 작성·조치를 실행하고, 그 실행은 아래의 권한·감사 계층에 통제됩니다. 전체 그림은 제조 AI 운영 레이어란 무엇인가, 실제 적용은 배치기록·이력추적 자동화 편에 있습니다.

유출이 없다는 것을 무엇으로 증명하나

"외부로 나가지 않습니다"는 문장은 제안서에 누구나 쓸 수 있습니다. 제조 AI 보안 검토에서 확인하여야 할 것은 문장이 아니라 경로입니다.

표 2. 계약 전에 화면과 문서로 확인할 여섯 가지.

퓨처워크랩은 이 통제 계층을 AX Guard로 부르며 안전성·설명 가능성·통제 가능성·감사추적 네 축으로 설계합니다. 권한도 한 겹이 아닙니다. 계정·역할로 한 번, 데이터 조회 단계에서 행 단위로 또 한 번, 에이전트에게 별도의 신원을 부여하여 다시 한 번, 응답 직전에 한 번 더 걸러집니다. 사람이 볼 수 없는 데이터를 에이전트가 우회하여 가져오지 못하게 하는 것이 목적입니다. 구성은 기술 문서에 있습니다.

자주 묻는 질문 (FAQ)

온프레미스 LLM을 쓰면 서버를 얼마나 갖춰야 하나요?

양자화한 경량 모델을 쓰면 단일 온프레미스 GPU 노드, 즉 연산 카드를 얹은 서버 한 대 규모에서 실서비스 트래픽을 처리할 수 있습니다. 사용자가 늘면 상위 사양으로 확장하며, 필요한 사양은 문서량과 동시 질의 수로 산정합니다.

언어모델만 사내에 두면 충분하지 않나요?

충분하지 않습니다. 문서를 숫자로 바꾸는 임베딩과 검색 결과를 재정렬하는 리랭킹에서도 문서 본문과 질문이 그대로 전달됩니다. 이 두 단계를 외부 API로 처리하면 언어모델을 사내에 두어도 자료는 밖으로 나갑니다. 임베딩·리랭커·언어모델·저장소가 모두 사내에 있는지 확인하십시오.

작은 모델은 정확도가 떨어지지 않나요?

현장 질문의 정확도는 모델 크기보다 사내 지식이 어떻게 구조화되어 있는지에 더 좌우됩니다. 문서를 온톨로지·지식그래프로 정리하고 질의마다 적합한 검색 방식을 골라 쓰면 경량 모델에서도 실무 정확도가 나옵니다. 브로넥스 PoC에서는 제조 질의응답 정확도 90.2%를 확인하였습니다.

폐쇄망(망분리) 환경에서도 되나요?

됩니다. 외부 모델 호출 경로를 닫고 사내 구성만으로 운영하는 형태를 전제로 설계하였습니다. 다만 모델·색인 갱신을 위한 반입 절차를 보안 규정에 맞추어 미리 정하여 두어야 합니다.

나중에 배포 방식을 바꿀 수 있나요?

지식 구조와 워크플로우는 특정 모델·인프라에 묶이지 않게 저장되므로 배포 방식을 바꾸어도 자산은 남습니다. 클라우드로 시작하여 민감 데이터만 온프레미스로 분리하는 전환도 가능합니다. 장비·구축 비용은 AI 바우처 같은 정부 지원사업과 묶어 검토하는 경우가 많습니다.

다음 단계

먼저 할 일은 솔루션 비교가 아니라 데이터 분류입니다. 무엇이 법·계약상 밖으로 못 나가는지 한 장으로 정리하면 배포 방식과 검토 순서가 함께 정해집니다.

• 보안 구조 확인 요청 → — 반출 제약이 있는 자료와 없는 자료를 나누는 첫 정리, 비용 없습니다.

• 기술 문서(docs.axflow.io) → — 아키텍처·연동·권한 구조

• 제조 AI 운영 레이어란 무엇인가 → — 연결·구조화·실행·거버넌스를 한 흐름으로 보는 카테고리 정의

• AX Flow 데모 요청 → — 우리 공장 문서로 2주 PoC 직접 확인

함께 읽으면 좋은 글

• HACCP·GMP 인증절차와 AI 도입 — 감사추적·데이터 완전성부터 본다 — 규제 제조의 도입 순서 — 인증과 감사추적부터

• 제조 AI 거버넌스 — 규제 오해 교정과 GMP 현장의 실제 요건 — 보안 다음에 오는 것 — 제조 AI 거버넌스

• 온톨로지·지식그래프란? 제조 데이터를 잇는 층과 Triple-RAG 원리 — 외부로 내보내지 않고도 답을 찾게 하는 데이터 구조