RAG(Retrieval Augmented Generation)에서 큰 문서를 청크로 분할하는 주된 목적은 무엇입니까?

RAG(Retrieval Augmented Generation)에서 큰 문서를 청크로 분할하는 주된 목적은 벡터 인덱스에서 검색된 항목의 컨텍스트 관련성을 개선하기 위함입니다. 문서 전체를 임베딩하는 대신, 의미 있는 작은 청크로 나누면 사용자의 쿼리와 가장 관련성이 높은 특정 정보 조각을 더 정확하게 검색할 수 있습니다. 이는 생성 모델이 더 정확하고 관련성 높은 응답을 생성하는 데 필요한 구체적인 컨텍스트를 제공합니다. 다른 옵션들은 다음과 같은 이유로 올바르지 않습니다: 텍스트의 일부를 저장하여 데이터베이스 저장 용량 제한을 피하거나 스토리지 비용을 낮추는 것은 부수적인 이점일 수 있지만, 청크 분할의 주된 목적은 아닙니다. 큰 텍스트를 벡터 임베딩으로 변환할 필요성을 제거하는 것이 아니라, 청크 단위로 벡터 임베딩을 생성하여 검색 효율성과 정확성을 높이는 것이 목적입니다.