Ваше обучение использует кастомные операции TensorFlow на C++ (интенсивные матричные умножения) внутри основного цикла; обучение занимает дни. Вы хотите сократить время и сохранить низкие затраты, используя ускорители в Google Cloud. Что вам следует сделать?

Правильный ответ — "Остаться на CPU и увеличить размер кластера, на котором вы обучаете свою модель". Причина в том, что кастомные операции TensorFlow, написанные на C++, не будут автоматически использовать преимущества GPU или TPU без явной реализации поддержки этих ускорителей (так называемые "GPU kernels"). Переписывание этих операций для работы с GPU/TPU может быть сложным и трудоемким процессом. В данном случае, наиболее практичным и экономически эффективным решением для сокращения времени обучения, сохраняя при этом низкие затраты, является масштабирование на CPU. Увеличение размера кластера CPU позволит распределить нагрузку и ускорить обучение, не требуя значительных изменений в коде. Использование Cloud TPUs или Cloud GPUs без поддержки GPU kernel для кастомных операций не даст ожидаемого ускорения, так как эти операции будут выполняться на CPU, даже если ускорители доступны.