본 프로젝트는 사내 업무 매뉴얼을 기반으로 한 RAG(Retrieval-Augmented Generation) 시스템에서 발생하는 검색 정확도 저하 문제를 분석하고, 멀티 에이전트 구조를 적용하여 응답 정확도를 개선하는 것을 목표로 진행되었습니다.
기존 단일 에이전트 기반 RAG 구조에서 발생하던 문서 선택 오류와 문맥 불일치 문제를 실제 사례 중심으로 분석하고, 이를 구조적으로 해결하는 데 초점을 맞췄습니다.
- 개발 기간: 2025.11 ~ 2025.12 (약 2주)
사내에는 수백 개 이상의 업무 매뉴얼이 존재하나,
- 부서별 문서 형식 상이
- 동일 용어의 다의적 사용
- 단일 LLM 질의 기반 검색의 한계
로 인해 사용자가 원하는 정보를 정확히 찾기 어려운 문제가 있었습니다.
기존 시스템은 다음과 같은 흐름으로 동작했습니다.
- 사용자 질문 입력
- 질문 기반 문서 제목 라우팅
- 선택된 문서 내 검색 후 응답 생성
이 과정에서 제목이 유사하거나 포괄적인 문서가 존재할 경우, 정답 문서가 아닌 다른 문서가 선택되는 문제가 빈번하게 발생했습니다.
예시 질문:
“입출금 관리에서 고액 현금 인출 절차는 어떻게 되나요?”
- 실제 정답 문서:
입출금 관리 - 기존 RAG 응답 근거 문서:
창구 관리
👉 제목 기반 라우팅이 업무 범위를 정확히 구분하지 못한 사례
문제의 핵심 원인을 문서 선택 단계에서의 단일 판단 구조로 정의하고, 이를 해결하기 위해 멀티 에이전트 기반 RAG 구조를 도입했습니다.
본 시스템은 다음과 같은 역할 분리형 에이전트 구조로 설계되었습니다.
-
Query Agent
- 사용자 질문을 분석
- 핵심 업무 영역 및 의도 추출
-
Routing Agent
- 질문의 업무 도메인을 기준으로 문서 후보군 필터링
- 제목이 아닌 업무 카테고리 기반 라우팅
-
Retrieval Agent
- 필터링된 문서 집합 내에서 벡터 검색 수행
- 실제 문서 내용 기반 유사도 비교
-
Answer Agent
- 검색 결과를 종합하여 최종 응답 생성
- 불확실한 경우 답변 범위를 명시하도록 설계
- 잘못된 문서 선택 빈도 감소
- 질문과 문서 간 문맥 정합성 향상
- 동일 질문에 대한 응답 일관성 개선
※ 본 프로젝트에서는 정량 지표 대신 실제 오답 사례 감소 여부를 기준으로 정성 평가를 진행했습니다.
- RAG 시스템의 정확도는 LLM 성능보다 검색 및 라우팅 구조의 영향을 크게 받음
- 단일 에이전트 구조는 복잡한 업무 도메인에서 한계가 존재
- 멀티 에이전트 구조는 문제 원인 분리와 개선 포인트 도출에 효과적