Dataproc-Knoten können nicht auf das Internet zugreifen; Sie müssen zusätzliche Start-Abhängigkeiten über eine vorhandene Init-Aktion installieren. Wie stellen Sie diese Abhängigkeiten sicher bereit?

Wenn Dataproc-Knoten keinen direkten Internetzugang haben, ist das Kopieren von Abhängigkeiten in einen Cloud Storage-Bucket innerhalb Ihres VPC-Sicherheitsperimeters die sicherste und effizienteste Methode. Init-Aktionen können dann von diesem Bucket auf die Dateien zugreifen und sie auf den Knoten installieren, ohne dass ein externer Internetzugang erforderlich ist. Der Cloud SQL Proxy ist für Datenbankverbindungen gedacht, nicht für die Bereitstellung von Abhängigkeiten. Ein SSH-Tunnel wäre eine umständliche und unsichere Lösung für diesen Anwendungsfall. Die Zuweisung der Rolle „Network User“ würde zwar Netzwerkzugriff ermöglichen, löst aber nicht das Problem der fehlenden Internetkonnektivität für die Installation von Abhängigkeiten und könnte unnötige Berechtigungen gewähren.