관련성만 보는 RAG 검색은 틀렸다. 문서 세트 품질로 다시 보는 검색 평가

구분	내용
논문	Beyond Relevance-Centric Retrieval: Rubric-Oriented Document Set Selection and Ranking
발표	arXiv:2607.19747 (2026년 7월 22일 제출)
저자	Kailin Jiang와 Lei Liu(교신) 외. 중국과학기술대학(USTC)과 Tencent Yuanbao 팀
원문	arxiv.org/abs/2607.19747

RAG 파이프라인의 리랭커는 문서를 하나씩 보고 이 문서가 질문과 관련 있는지를 채점한다. 이 방식에는 숨은 가정이 있다. 문서 세트의 품질은 개별 문서 점수의 합이라는 가정이다. 이번 주 arXiv에 올라온 이 논문은 그 가정이 틀렸음을 정량적으로 보여준다. LLM 생성기가 실제로 소비하는 것은 개별 문서가 아니라 세트 전체이기 때문이다.

관련성 높은 문서 5개를 골랐는데 4개가 같은 내용이면 컨텍스트만 낭비된다. 문서끼리 사실이 충돌하면 생성기가 오도된다. 핵심 근거가 빠져 있으면 추가 검색 라운드가 필요하다. 저자들의 표현을 빌리면 문서 세트의 품질이 생성 품질의 상한을 결정한다.

SetwiseEvalKit. 9개 차원으로 세트를 평가하다

첫 번째 기여는 평가 프레임워크다. 약 28,000개의 질의별 루브릭(rubric)을 3레벨 9차원 분류 체계로 구축했다.

레벨	차원
문서 레벨	관련성(Relevance)과 진실성(Authenticity)과 품질(Quality)
세트 레벨	상보성(Complementarity)과 중복성(Redundancy)과 충돌(Conflict)
글로벌 레벨	완전성(Completeness)과 밀도(Density)와 도달성(Reachability)

루브릭은 GPT 5.1과 Gemini 3.1 Pro Preview가 독립적으로 초안을 만들고 DeepSeek V4 Pro가 집계와 필터링을 맡는 다중 모델 방식으로 생성했다. 박사급 평가자 검증에서 집계 루브릭의 70%가 높은 판별력을 인정받았다. 단일 모델 방식은 37%에 그쳤다.

숏폼 트랙은 HotpotQA와 2WikiMultihopQA와 MuSiQue와 Bamboogle 기반의 2,061개 샘플이다. 롱폼 트랙은 검색 에이전트가 실제 구글 검색을 수행하는 ResearchQA 200개 인스턴스다.

진단 결과. 리랭커 12종 전부 세트 차원에서 낙제

12개 최신 리랭커를 진단한 결과가 뼈아프다.

진단 항목	결과
숏폼 최고 커버리지	SetR이 45.85%에 그쳤다. 검색만 한 베이스라인이 36.43%이니 최신 리랭커를 붙여도 개선 폭이 10%p가 안 된다
문서 간 차원	모든 방법이 상보성과 중복성 같은 문서 간 차원에서 일관되게 약했다. 개별 문서 관련성은 잘 보지만 문서들이 서로를 보완하는지는 아무도 보지 않는다
롱폼	최고가 33.05%로 구글 검색 베이스라인(30.20%)과 3%p 차이까지 압축된다

Rubric4Setwise. 세트 단위 선택의 상한선

두 번째 기여는 학습이 필요 없는 선택 기법이다. Qwen3-8B가 루브릭 대비 문서를 chain of thought로 채점한다. 고정 top-k가 아니라 루브릭 충족도를 최대화하는 가변 크기 부분집합을 고른다.

지표	베이스라인	Rubric4Setwise
숏폼 EM	18.63	26.10 (+7.47)
숏폼 F1	21.10	29.32 (+8.22)
사용 문서 수	평균 5개	평균 2.66개
롱폼 LLM 판정	67.08	70.57 (+3.49)

루브릭 커버리지와 최종 생성 품질의 상관관계는 Pearson r 0.92로 나타났다. 세트 품질이 실제로 생성 품질을 예측한다는 검증이다.

다만 Rubric4Setwise는 정답으로부터 루브릭을 유도하는 오라클 설정이다. 실전 배포용 기법이 아니라 세트 단위 선택이 도달할 수 있는 상한을 보여주는 실증이다. 저자들은 이 루브릭 선호를 보상 신호로 증류해 리랭커에 내재화하는 것을 다음 단계로 제시한다.

Cortexys의 시각

RAG를 운영하는 팀에 이 논문이 주는 실무적 교훈은 세 가지다.

첫째로 top-k를 의심해야 한다. 고정 k개 검색은 중복 문서로 컨텍스트를 채우기 쉽다. 2.66개로 5개보다 나은 답을 만든 결과는 잘 고른 소수가 많이 넣은 다수를 이긴다는 뜻이다.

둘째로 리랭커 점수의 합은 컨텍스트 품질과 다르다. 검색 파이프라인 평가 지표에 중복률과 상호 보완성 같은 세트 단위 지표를 추가할 가치가 있다.

셋째로 당장 적용 가능한 저비용 버전이 있다. 리랭킹 후 LLM 한 번의 중복 제거와 충돌 검사 패스를 넣는 것만으로도 이 논문이 지적한 문제의 상당 부분을 완화할 수 있다.

검색을 문서 순위 매기기가 아니라 증거 세트 구성하기로 재정의하는 관점 전환이다. RAG 2세대의 방향을 보여주는 논문이다.

참고 자료

자료	링크
arXiv 원문	arxiv.org/abs/2607.19747
HTML 버전 (그림 포함)	arxiv.org/html/2607.19747v2