RAG (Retrieval Augmented Generation) において、大きなドキュメントをチャンクに分割する主な目的は何ですか？

RAGにおけるドキュメントのチャンク分割は、ベクトルインデックスから取得される情報の文脈的関連性を高めることが主な目的です。大きなドキュメント全体を埋め込むと、特定の質問に対する関連情報が埋もれてしまい、検索精度が低下する可能性があります。チャンクに分割することで、各チャンクがより焦点を絞った情報を含み、質問との関連性が高いチャンクが正確に取得されやすくなります。 「テキストの一部を保存することで、データベースのストレージ制限を回避するため」や「ストレージコストを削減するため」は、チャンク分割の副次的な効果ではありますが、主な目的ではありません。RAGの性能向上に直接寄与するのは文脈的関連性の向上です。「大きなテキストをベクトル埋め込みに変換する必要をなくすことで、効率を向上させるため」は誤りです。チャンク分割後も各チャンクはベクトル埋め込みに変換されます。