Uma empresa armazena documentos no Amazon S3, mas não possui categorias de produtos predefinidas. Um cientista de dados deve construir um modelo para derivar categorias de produtos para todos os documentos com máxima eficiência operacional. Qual solução é a mais eficiente operacionalmente?

A solução mais eficiente operacionalmente é treinar um SageMaker Neural Topic Model (NTM). O NTM é um algoritmo não supervisionado integrado no SageMaker, projetado especificamente para descobrir tópicos (categorias) em grandes coleções de documentos. Isso elimina a necessidade de rotular dados ou de engenharia de features complexa, otimizando a eficiência. Construir um modelo de clustering personalizado com Docker e ECR é possível, mas exige mais esforço de desenvolvimento e manutenção, sendo menos eficiente operacionalmente. Tokenizar e converter documentos em features tabulares para k-means é um passo adicional e o k-means pode não capturar a complexidade semântica dos documentos tão bem quanto um NTM. O BlazingText é usado principalmente para classificação de texto ou word embeddings, não para descoberta não supervisionada de tópicos/categorias.