RAG와 긴 컨텍스트 비교: 사내 문서를 AI에 전달하는 방식 선택

질문에 필요한 정보 범위부터 정합니다

Google의 긴 컨텍스트 문서는 많은 관련 자료를 모델에 직접 전달하는 활용 방법을 설명합니다. RAG는 검색으로 필요한 부분을 골라 전달합니다. 두 방식 중 하나가 모든 업무에서 우월한 것은 아닙니다. 한 문서 전체의 흐름을 비교하는지, 계속 쌓이는 문서 중 특정 사실을 찾는지에 따라 출발점이 달라집니다.

가상의 제안서 검토 업무에서는 지정한 문서 몇 개를 통째로 읽는 방식이 단순할 수 있습니다. 반면 여러 부서의 운영 매뉴얼에서 현재 적용되는 규정을 찾는 업무라면 갱신과 권한을 반영하는 검색 계층이 유용합니다. 모델의 최대 입력 크기만으로 아키텍처를 결정하지 마세요.

운영 조건별로 장단점을 비교합니다

같은 질문과 근거로 작은 비교를 합니다

대표 질문을 단일 문서 질문, 여러 문서 비교와 자료에 답이 없는 질문으로 나누세요. 두 방식에 같은 최신 자료를 제공하고 답변 정확도, 근거 위치, 지연과 호출 비용을 기록합니다. 긴 입력을 지원한다는 사실이 모든 위치의 사실을 똑같이 잘 활용한다는 보장은 아니므로 문서 뒤쪽의 예외도 확인합니다.

계산에는 실패한 요청과 재질문도 넣어야 합니다. 검색이 빨라도 근거를 자주 놓쳐 사용자가 질문을 반복한다면 실제 비용이 늘어납니다. 반대로 자료 전체를 보내는 방식이 정확하더라도 응답이 너무 늦으면 업무 화면에 맞지 않을 수 있습니다. 허용 지연은 사용자가 기다리는 작업인지에 따라 정하세요.

검색과 전체 읽기를 함께 사용할 수 있습니다

먼저 제목·프로젝트·유효 기간으로 대상 문서를 좁힌 뒤 선택된 문서는 전체를 읽게 하는 구조를 검토할 수 있습니다. 이때 선택 근거와 문서 버전을 기록하세요. 반복되는 공통 자료는 제공자의 캐시 기능을 검토할 수 있지만 갱신된 원문이 반영되는지는 별도 확인해야 합니다.

선택 전에 답할 질문

• 사용자가 문서를 직접 지정하는가, 시스템이 찾아야 하는가
• 여러 문서 전체를 비교해야 하는 질문이 많은가
• 자료가 얼마나 자주 바뀌고 권한이 얼마나 세분화되어 있는가
• 비용과 응답 시간의 허용 범위를 정했는가
• 답변 근거를 원문 위치로 다시 확인할 수 있는가