Desea automatizar de forma segura trabajos nocturnos que leen archivos por lotes no públicos de Cloud Storage, ejecutan un trabajo de Spark Scala en Dataproc y escriben los resultados en BigQuery. ¿Cómo debe ejecutarse la carga de trabajo de forma segura?

La opción correcta es ejecutar el trabajo con una cuenta de servicio que tenga acceso de lectura a los archivos de Cloud Storage y acceso de escritura a BigQuery. Esto sigue el principio de privilegio mínimo, otorgando solo los permisos necesarios para que el trabajo se ejecute. Las cuentas de servicio son el método recomendado para la autenticación de programas en Google Cloud. Bloquear el bucket de Cloud Storage para que solo su cuenta de usuario pueda acceder a él no es una solución de automatización segura ni escalable, ya que los trabajos automatizados no pueden usar cuentas de usuario interactivas. Conceder el rol de Project Owner a una cuenta de servicio es un riesgo de seguridad significativo, ya que otorga permisos excesivos que podrían ser explotados. Usar una cuenta de usuario con el rol de Project Viewer en el clúster de Dataproc es incorrecto porque Project Viewer no proporciona los permisos necesarios para leer archivos de Cloud Storage o escribir en BigQuery, y las cuentas de usuario no son ideales para la automatización.