Você deseja automatizar com segurança trabalhos noturnos que leem arquivos de lote não públicos do Cloud Storage, executam um trabalho Spark Scala no Dataproc e gravam os resultados no BigQuery. Como a carga de trabalho deve ser executada com segurança?

A opção correta é executar o trabalho em uma conta de serviço com permissões específicas. Uma conta de serviço é a maneira recomendada e segura de autenticar e autorizar aplicativos e cargas de trabalho no Google Cloud, seguindo o princípio do menor privilégio. Ao conceder acesso de leitura apenas aos arquivos do Cloud Storage e acesso de gravação ao BigQuery, você garante que a conta de serviço tenha apenas as permissões necessárias para a tarefa, minimizando riscos de segurança. Bloquear o bucket para sua conta de usuário não é escalável nem seguro para automação, pois exigiria suas credenciais pessoais. Conceder a função Project Owner a uma conta de serviço é um risco de segurança significativo, pois essa função tem permissões excessivas para a maioria das cargas de trabalho. Usar uma conta de usuário com Project Viewer no cluster Dataproc não forneceria as permissões de gravação necessárias para o BigQuery e não é a prática recomendada para automação de cargas de trabalho.