Wat is in Retrieval Augmented Generation (RAG) het hoofddoel van het opsplitsen van grote documenten in chunks?

Het opsplitsen van grote documenten in kleinere 'chunks' (stukken) is essentieel in RAG. Dit verbetert de contextuele relevantie omdat het zoekalgoritme in de vectorindex kleinere, meer gerichte stukjes informatie kan vinden die direct aansluiten bij de gebruikersvraag. Als het hele document als één grote embedding zou worden opgeslagen, zou de specificiteit van de zoekresultaten afnemen, wat leidt tot minder accurate antwoorden. De andere opties zijn onjuist: Database-opslaglimieten en opslagkosten zijn geen primair doel; chunking kan de opslag zelfs verhogen door metadata en overlap. Het elimineren van de noodzaak om grote tekst om te zetten in vector embeddings is onjuist; juist elk chunk wordt omgezet in een embedding.