Amazon Bedrock에서 호스팅되는 기본 모델이 하루에 한 번 10개의 예시로 프롬프트되고 있으며 성능이 좋습니다. 회사는 월별 비용을 절감하고자 합니다. 동일한 기본 모델을 유지하면서 비용을 절감할 수 있는 조치는 무엇입니까?

Amazon Bedrock의 기본 모델 비용은 사용된 토큰 수에 따라 결정됩니다. 따라서 각 프롬프트에 사용되는 토큰 수를 줄이면 직접적으로 비용을 절감할 수 있습니다. 미세 조정을 통한 모델 사용자 지정은 모델 성능을 향상시킬 수 있지만, 모델 학습 비용이 발생하며 추론 비용을 직접적으로 줄이지는 않습니다. 각 프롬프트에 사용되는 토큰 수를 늘리는 것은 오히려 비용을 증가시킵니다. Provisioned Throughput은 예측 가능한 처리량을 보장하지만, 온디맨드 사용보다 비용이 더 많이 들 수 있어 비용 절감과는 거리가 멉니다.