Ihr Training verwendet benutzerdefinierte C++ TensorFlow-Operationen (aufwendige Matrixmultiplikationen) innerhalb der Hauptschleife; das Training dauert Tage. Sie möchten die Zeit reduzieren und die Kosten niedrig halten, indem Sie Beschleuniger in Google Cloud verwenden. Was sollten Sie tun?

Die korrekte Antwort ist, auf CPUs zu bleiben und die Clustergröße zu erhöhen. Da die benutzerdefinierten C++ TensorFlow-Operationen aufwendige Matrixmultiplikationen sind und innerhalb der Hauptschleife ausgeführt werden, müssten diese Operationen für GPUs oder TPUs neu geschrieben werden, um deren Vorteile nutzen zu können. Ohne diese Anpassung würden die Beschleuniger nicht effizient genutzt, und der Overhead des Datentransfers zwischen CPU und Beschleuniger könnte die Leistung sogar verschlechtern. Das Erhöhen der Clustergröße bei CPUs ermöglicht eine horizontale Skalierung der Rechenleistung, was die Trainingszeit reduzieren kann, ohne dass eine aufwendige Code-Anpassung für Beschleuniger erforderlich ist. Die Optionen, Cloud TPUs oder GPUs zu verwenden, sind in diesem Fall nicht optimal, da sie eine Implementierung von GPU-Kernel-Unterstützung für die benutzerdefinierten Operationen erfordern würden, was eine erhebliche Entwicklungsarbeit bedeutet und die Kosten- und Zeiteffizienzziele untergräbt. Die Option, Cloud TPUs ohne zusätzliche Anpassung zu verwenden, ist ineffektiv, da TPUs speziell für bestimmte Arten von Matrixoperationen optimiert sind und benutzerdefinierte C++-Operationen ohne Anpassung nicht effizient verarbeiten würden.