A RetailVision tem 240 modelos de personalização por loja (cada um com aproximadamente 120 MB) que são consultados com pouca frequência (minutos entre as solicitações por modelo). Atualmente, eles hospedam cada modelo como um endpoint separado, o que é caro. Eles querem consolidar para minimizar custos, mantendo uma latência de cold-start aceitável quando um modelo é solicitado pela primeira vez. Qual é a melhor abordagem de hospedagem do SageMaker para reduzir custos neste cenário?

A abordagem de endpoint multi-modelo do SageMaker é a mais econômica para este cenário. Ela permite consolidar muitos modelos em uma única instância, reduzindo significativamente os custos de infraestrutura. Os modelos são carregados sob demanda do S3, o que é ideal para modelos acessados com pouca frequência, minimizando o uso de memória e aceitando uma latência de cold-start aceitável. Substituir por instâncias EC2 com Flask e carregar todos os modelos na inicialização seria caro devido à grande quantidade de memória necessária. Usar 240 endpoints multi-contêiner com autoscaling ainda incorreria em custos por endpoint e complexidade de gerenciamento. A inferência assíncrona não é a melhor opção para latência de cold-start, e manter um endpoint separado por modelo, mesmo com concorrência mínima, é o que a empresa está tentando evitar devido ao custo.