Su entrenamiento utiliza operaciones personalizadas de TensorFlow en C++ (multiplicaciones de matrices pesadas) dentro del bucle principal; el entrenamiento lleva días. Desea reducir el tiempo y mantener los costos bajos utilizando aceleradores en Google Cloud. ¿Qué debería hacer?

La respuesta correcta es "Permanecer en CPUs y aumentar el tamaño del clúster en el que está entrenando su modelo". Las operaciones personalizadas de TensorFlow en C++ que realizan multiplicaciones de matrices pesadas son inherentemente optimizadas para CPU. Si bien las TPUs y GPUs son excelentes para acelerar cargas de trabajo de aprendizaje automático, requieren que el código esté diseñado específicamente para aprovechar su arquitectura. Implementar soporte de kernel de GPU para operaciones personalizadas es un esfuerzo significativo y no garantiza una mejora de rendimiento si el código no está optimizado para GPU. Las TPUs, por su parte, están diseñadas para operaciones de TensorFlow altamente optimizadas y no se beneficiarían de operaciones personalizadas en C++ sin una reescritura sustancial. Aumentar el tamaño del clúster de CPUs es la solución más directa y de menor costo para reducir el tiempo de entrenamiento en este escenario, ya que permite la paralelización de las operaciones existentes.