Una empresa desea un chatbot basado en LLM para proporcionar a los agentes de servicio al cliente respuestas contextuales y basadas en políticas en tiempo real. La fuente de conocimiento son los documentos de políticas de la empresa. ¿Cuál es la solución más rentable?

La Recuperación Aumentada por Generación (RAG) es la solución más rentable porque permite que el LLM acceda a información actualizada y específica de las políticas en tiempo real sin necesidad de un reentrenamiento costoso y que consume mucho tiempo. RAG recupera documentos relevantes y los utiliza para contextualizar la respuesta del LLM, asegurando precisión y relevancia. Reentrenar o ajustar (fine-tune) un LLM completo es extremadamente costoso en términos de computación y tiempo, y no es ideal para datos que cambian con frecuencia. El preentrenamiento adicional y el aumento de datos también son procesos intensivos que no garantizan la contextualización en tiempo real de la misma manera que RAG.