Ein auf Amazon Bedrock gehostetes Basismodell wird einmal täglich mit 10 Beispielen abgefragt und funktioniert gut. Das Unternehmen möchte die monatlichen Kosten senken. Welche Maßnahme senkt die Kosten, während das gleiche Basismodell beibehalten wird?

Die Reduzierung der Tokenanzahl pro Prompt senkt die Kosten, da Amazon Bedrock in der Regel nach der Anzahl der verarbeiteten Input- und Output-Token abrechnet. Weniger Token bedeuten geringere Kosten pro Abfrage. Das Fine-Tuning des Modells würde zusätzliche Kosten für das Training und die Speicherung verursachen, anstatt die monatlichen Abfragekosten zu senken. Das Erhöhen der Tokenanzahl würde die Kosten pro Abfrage erhöhen. Provisioned Throughput ist eine Option für hohe und vorhersagbare Workloads, die in diesem Szenario (10 Abfragen pro Tag) wahrscheinlich teurer wäre als die On-Demand-Nutzung, da es eine feste Kapazität reserviert.