Een basismodel dat wordt gehost op Amazon Bedrock wordt één keer per dag geprompt met 10 voorbeelden en presteert goed. Het bedrijf wil de maandelijkse kosten verlagen. Welke actie zal de kosten verlagen terwijl hetzelfde basismodel behouden blijft?

De kosten voor het gebruik van basismodellen op Amazon Bedrock worden voornamelijk berekend per token (invoer en uitvoer). Door het aantal tokens in elke prompt te verminderen, verlaagt u direct de gebruikskosten, aangezien er minder tokens worden verwerkt. Het aanpassen van het model via fine-tuning brengt extra kosten met zich mee voor training en hosting. Het verhogen van het aantal tokens zal de kosten juist verhogen. Provisioned Throughput is een optie voor gereserveerde capaciteit die de kosten kan verlagen bij zeer hoog, consistent gebruik, maar voor 10 prompts per dag is dit waarschijnlijk duurder dan pay-per-use en het verandert niet de token-gebaseerde kosten per prompt.