Home

🐕 RAG ON vs RAG OFF 모델 답변 비교 리포트 (2025-08-09)

성능

• RAG ON 평균 6.35초, RAG OFF 평균 3.21초 → 속도는 기본 모델이 2배 가량 빠름.

품질

• 두 모드 모두 안전장치(의사 상담 권고) 포함. 다만 일부 문장 정확도/자연스러움 문제 존재.

권장-

• 벡터 검색 품질 튜닝과 응답 후처리(클리너/룰 기반 검수)로 RAG의 장점(정확성)을 체감하게 개선

---

테스트 개요

• 모델: llama-3-Korean-Bllossom-8B
• 테스트 케이스: 8개 동일 시나리오
• RAG ON 보고서 생성 시각: 2025-08-09 14:28
• RAG OFF 보고서 생성 시각: 2025-08-09 14:29

환경/설정 비교

• RAG ON
  • 벡터 DB: ChromaDB (CONNECTED)
  • 문서 수: 8,217
  • 임베딩: 기본 임베딩
  • 컨텍스트 길이: 최대 2000자
  • 사용 가능한 진료과: 내과
• RAG OFF
  • 벡터 DB: 비활성화
  • 컨텍스트: 시간/기본 프롬프트만
  • 응답 방식: 모델 자체 지식

---

핵심 지표 비교

지표	RAG ON	RAG OFF
평균 응답 시간	6.35초	3.21초
최빠른 응답	4.90초	1.27초
최느린 응답	7.71초	4.98초

카테고리별 응답 시간 비교

카테고리	RAG ON	RAG OFF
응급상황	6.87초	3.91초
피부질환	7.71초	3.88초
눈질환	5.88초	3.97초
치과문제	6.92초	4.98초
외상	5.97초	1.27초
내과질환	4.90초	1.63초
행동문제	5.72초	3.32초
예방접종	6.84초	2.72초

---

품질 관찰(요약)

• 공통
  • 안전성: 전문가 상담 권고 등의 안전 문구 포함.
  • 일관성: 질문 구조와 톤은 일관적이나, 일부 한국어 품질과 의학 용어 사용이 부정확한 사례 존재.
• RAG ON
  • 장점: 응답이 더 구조화되어 있고 문맥을 넓게 다룸.
  • 이슈 예시: 용어/문장 오류(예: “복원수”, “변비동물과”, 발가락 문제에 “치아 검사” 언급 등) → 컨텍스트 매칭 후 사실성 검수 필요.
• RAG OFF
  • 장점: 응답이 빠르고 간결.
  • 이슈 예시: 외래어/오타/의학 용어 오류(예: “ветерина리”, “파게스병” 등), 근거 부족한 일반론적 조언 비중 높음.