Sie möchten nächtliche Jobs, die nicht-öffentliche Batch-Dateien aus Cloud Storage lesen, einen Spark Scala-Job auf Dataproc ausführen und Ergebnisse in BigQuery schreiben, sicher automatisieren. Wie sollte die Workload sicher ausgeführt werden?

Die Ausführung des Jobs unter einem Dienstkonto mit minimalen erforderlichen Berechtigungen (Lesezugriff auf Cloud Storage und Schreibzugriff auf BigQuery) ist die sicherste und empfohlene Methode. Dies folgt dem Prinzip der geringsten Privilegien und minimiert das Risiko bei einer Kompromittierung des Dienstkontos. Das Sperren des Cloud Storage-Buckets für nur ein Benutzerkonto ist unpraktisch für automatisierte Jobs und bietet keine Skalierbarkeit oder Sicherheit für den Spark-Job selbst. Die Zuweisung der Rolle „Project Owner“ zu einem Dienstkonto ist ein erhebliches Sicherheitsrisiko, da es dem Konto uneingeschränkten Zugriff auf alle Ressourcen im Projekt gewährt. Die Verwendung eines Benutzerkontos mit „Project Viewer“ reicht nicht aus, da diese Rolle keine Schreibberechtigungen für BigQuery oder Ausführungsberechtigungen für Dataproc-Jobs beinhaltet.