Un modello di base ospitato su Amazon Bedrock viene interrogato con 10 esempi una volta al giorno e sta funzionando bene. L'azienda vuole ridurre i costi mensili. Quale azione ridurrà i costi mantenendo lo stesso modello di base?

La riduzione del numero di token utilizzati in ogni prompt è il modo più diretto per ridurre i costi, poiché Amazon Bedrock fattura in base al numero di token di input e output. Mantenere lo stesso modello di base e ridurre i token abbassa il consumo senza alterare la qualità o la disponibilità del modello. Personalizzare il modello tramite il fine-tuning potrebbe migliorare le prestazioni, ma non ridurrebbe necessariamente i costi e potrebbe persino aumentarli a causa dei costi di training e hosting del modello personalizzato. Aumentare i token aumenterebbe i costi. Provisioned Throughput è utile per carichi di lavoro elevati e prevedibili, ma non ridurrebbe i costi per un utilizzo così basso (10 esempi al giorno).