Ein Unternehmen plant, Amazon Bedrock LLMs zu verwenden, um eine Chat-Schnittstelle zu erstellen, die auf Produktanleitungen verweist, die als PDF-Dateien gespeichert sind. Welcher Ansatz ist der kostengünstigste?

Das Hochladen der PDF-Dokumente in eine Amazon Bedrock Knowledge Base ist der kostengünstigste Ansatz. Eine Knowledge Base ermöglicht Retrieval Augmented Generation (RAG), bei der relevante Dokumenten-Chunks dynamisch abgerufen und als Kontext an das LLM gesendet werden. Dies vermeidet die Notwendigkeit, das gesamte Dokument oder alle Dokumente in jeder Prompt zu senden, was die Token-Kosten erheblich reduziert. Das Senden einer einzelnen PDF-Datei pro Prompt ist ineffizient, da die Relevanz nicht garantiert ist. Das Senden aller PDF-Dateien pro Prompt ist extrem teuer und überschreitet wahrscheinlich die Kontextfenstergrenzen. Das Trainieren eines Modells durch Fine-Tuning ist sehr teuer und zeitaufwändig und nicht für die dynamische Aktualisierung von Wissensbasen konzipiert.