Al usar Amazon Bedrock para generar inferencias con un modelo de lenguaje grande, ¿qué factor determina principalmente el costo de la inferencia?

La cantidad de tokens consumidos es el factor principal que determina el costo de la inferencia en Amazon Bedrock. Los modelos de lenguaje grande (LLM) se facturan por la cantidad de tokens de entrada y salida procesados durante cada solicitud de inferencia. Una mayor cantidad de tokens implica un costo más elevado. La configuración de temperatura elegida afecta la creatividad de la respuesta, pero no el costo directo. El volumen de datos de entrenamiento y el tiempo de entrenamiento son costos asociados a la creación del modelo, no a su uso para inferencia.