È necessario ospitare un modello addestrato che riceve un tasso di richieste non uniforme durante il giorno. L'hosting deve scalare fino al picco di domanda, ma minimizzare i costi quando è inattivo. Quale approccio di hosting soddisfa questi vincoli?

L'opzione corretta è distribuire il modello su un endpoint Amazon SageMaker e configurare le policy di autoscaling basate su CloudWatch. Questo approccio consente all'endpoint di scalare dinamicamente il numero di istanze in base alla domanda, garantendo che il modello possa gestire i picchi di traffico e riducendo i costi durante i periodi di inattività grazie alla diminuzione delle istanze. Implementare funzioni AWS Lambda con concorrenza fissa non è l'ideale perché la concorrenza fissa non permetterebbe lo scaling dinamico necessario per un tasso di richieste non uniforme. Distribuire su un cluster Amazon ECS su AWS Fargate con un numero statico di task dimensionati per il carico di picco comporterebbe costi elevati durante i periodi di bassa domanda, poiché le risorse sarebbero sempre attive. Ospitare più copie del modello dietro un Application Load Balancer su un endpoint SageMaker è ridondante e meno efficiente rispetto all'autoscaling nativo di SageMaker, che è progettato specificamente per questo tipo di scenario.