Uma empresa de entregas online tem um modelo XGBoost por cidade armazenado no S3 e atualmente hospeda cada modelo em sua própria instância EC2 (5% de utilização). Eles querem que o aplicativo web selecione o entregador mais rápido em tempo real para usuários existentes e novos, minimizando a sobrecarga operacional. Qual solução consegue isso com o menor esforço de gerenciamento?

A solução de endpoint multi-modelo do SageMaker é a mais eficiente para este cenário. Ela permite hospedar múltiplos modelos em uma única instância, carregando-os sob demanda do S3 e roteando as requisições para o modelo correto usando o parâmetro TargetModel. Isso reduz drasticamente a sobrecarga operacional e os custos, eliminando a necessidade de gerenciar várias instâncias EC2 ou endpoints separados. As alternativas são menos ideais: Notebook SageMaker com transformação em lote não atende ao requisito de tempo real. Consolidar para uma única instância EC2 ainda exige gerenciamento manual do servidor de modelo e da infraestrutura. Criar endpoints SageMaker separados por cidade resultaria em um grande número de endpoints, aumentando a complexidade de gerenciamento e os custos, especialmente com baixa utilização por endpoint.