Un modelo base alojado en Amazon Bedrock recibe 10 ejemplos una vez al día y funciona correctamente. La empresa quiere reducir los costos mensuales. ¿Qué acción reducirá los costos manteniendo el mismo modelo base?

Reducir el número de tokens utilizados en cada prompt es la acción más efectiva para disminuir los costos. Los modelos base en Amazon Bedrock, y la mayoría de los modelos generativos, se facturan principalmente por el uso de tokens (entrada y salida). Al reducir la cantidad de tokens por prompt, se disminuye directamente el consumo y, por ende, el costo, sin cambiar el modelo. Personalizar el modelo ajustándolo (fine-tuning) implica un costo adicional por el entrenamiento y no reduce el costo por inferencia. Aumentar el número de tokens utilizados en cada prompt incrementaría los costos. Usar Provisioned Throughput es para cargas de trabajo predecibles y de alto volumen, garantizando rendimiento, pero generalmente a un costo más alto que el uso bajo demanda para 10 ejemplos diarios.