Um pipeline de ML de produção no Amazon SageMaker processa entradas de até 1 GB e jobs que podem ser executados por até uma hora, mas o aplicativo exige respostas quase em tempo real. Qual opção de inferência do SageMaker é a mais apropriada?

A inferência assíncrona é a mais apropriada porque foi projetada para lidar com payloads de entrada grandes (até 1 GB) e tempos de processamento longos (até uma hora), sem exigir que o cliente espere ativamente pela resposta. Isso atende ao requisito de "quase em tempo real" para a aplicação, pois a resposta é entregue assim que o processamento é concluído. A inferência em tempo real não é adequada devido ao limite de tamanho de payload (10 MB) e ao tempo de processamento (60 segundos). A inferência serverless também tem limites de payload e tempo de processamento que podem ser excedidos. A transformação em lote é para processamento offline de grandes volumes de dados, não para respostas "quase em tempo real".