Um banco usou o SageMaker com o algoritmo XGBoost integrado e executou um trabalho de ajuste automático de hiperparâmetros Bayesiano usando a acurácia de validação como objetivo. O modelo implantado atualmente tem 75% de acurácia. O banco deu ao especialista em ML um dia para melhorar a acurácia da produção. Qual é a maneira mais rápida de tentar melhorar o modelo dentro desse tempo?

A abordagem mais rápida e eficiente para melhorar o modelo em um dia é usar um warm start para o ajuste de hiperparâmetros. O warm start permite que o SageMaker HPO (Hyperparameter Optimization) utilize os resultados de trabalhos de ajuste anteriores, como o trabalho Bayesiano já executado, para informar a seleção de novos hiperparâmetros. Isso acelera o processo de busca por melhores configurações, pois o HPO não precisa começar do zero, aproveitando o conhecimento prévio do espaço de busca. Manter a mesma métrica objetivo (acurácia de validação) garante que o foco permaneça na melhoria da métrica que o banco já está monitorando. Executar um treinamento incremental não é o ideal, pois o XGBoost não suporta treinamento incremental diretamente no SageMaker para continuar de um modelo existente e otimizar hiperparâmetros ao mesmo tempo. Criar um novo trabalho de ajuste com AUC ou F1 como métrica objetivo, ou duplicar o número de trabalhos, desperdiçaria o conhecimento adquirido no trabalho anterior e exigiria mais tempo para convergir, o que não se alinha com o prazo de um dia.