Una empresa planea usar los LLM de Amazon Bedrock para construir una interfaz de chat que haga referencia a manuales de productos almacenados como archivos PDF. ¿Cuál es el enfoque más rentable?

La opción correcta es subir los documentos PDF a una base de conocimiento de Amazon Bedrock y usarla para proporcionar contexto a los prompts. Este enfoque es el más rentable porque las bases de conocimiento de Bedrock están diseñadas para la recuperación de información aumentada (RAG), lo que permite a los LLM acceder a datos externos de manera eficiente y escalable sin necesidad de reentrenamiento. Incluir un solo PDF o todos los PDFs directamente en el prompt no es escalable ni rentable. Los LLM tienen límites de tokens, y pasar PDFs completos o múltiples PDFs consumiría rápidamente esos límites, incurriría en costos elevados por tokens y podría degradar el rendimiento del modelo. Ajustar un modelo (fine-tuning) con todos los documentos PDF es una opción costosa y compleja. El fine-tuning requiere recursos computacionales significativos y tiempo, y no es ideal para datos que cambian frecuentemente o para la recuperación de información específica. Las bases de conocimiento son más adecuadas para este caso de uso.