A ShopRight tem um endpoint de recomendação de produtos sensível à latência que deve buscar vetores de características em milissegundos de um único dígito para cada solicitação de inferência de entrada. As características são atributos de sessão do cliente que mudam frequentemente. Qual configuração oferece o padrão de recuperação de baixa latência mais confiável para inferência em tempo real, mantendo-se dentro dos serviços gerenciados do SageMaker?

A opção correta é criar Feature Groups com armazenamento online habilitado e usar a API SageMaker Feature Store Runtime (GetRecord). O armazenamento online do SageMaker Feature Store é projetado especificamente para recuperação de características de baixa latência (milissegundos de um dígito) para inferência em tempo real, tornando-o ideal para o requisito sensível à latência. A ingestão via BatchPutRecord/PutRecord garante que os dados estejam atualizados. As permissões IAM corretas e a localização na mesma região são essenciais para o funcionamento. Armazenar características apenas no S3 com consultas Athena seria muito lento para requisitos de milissegundos de um dígito, mesmo com cache. Usar um trabalho do SageMaker Processing para exportar para o DynamoDB adiciona complexidade e latência desnecessárias, além de replicar a funcionalidade de armazenamento online do Feature Store. A inferência assíncrona em lote (Transform job) não é adequada para inferência em tempo real com dados de sessão que mudam frequentemente, pois pré-computa recomendações e não responde a mudanças dinâmicas na sessão do cliente.