Um modelo TensorFlow com operações personalizadas (algumas devem ser executadas na CPU) treina em dois dias em uma VM n2-standard-32. Para reduzir o tempo de treinamento de forma econômica, o que você deve mudar?

A opção correta é treinar o modelo usando uma VM com um acelerador de hardware de GPU. Modelos de TensorFlow com operações personalizadas (especialmente aquelas que exigem CPU) se beneficiam significativamente de GPUs, que são excelentes para paralelização de cálculos de tensor. As GPUs são mais flexíveis que as TPUs para operações mistas (CPU e GPU), e geralmente mais acessíveis que as TPUs para este cenário. Mudar para n2-highmem-32 (mais memória) ou e2-standard-32 (VM mais barata, mas menos potente) não resolveria o gargalo de processamento computacional intensivo, que é o principal fator que contribui para o longo tempo de treinamento.