Os nós do Dataproc não conseguem acessar a Internet; você deve instalar dependências de inicialização adicionais por meio de uma ação init existente. Como você fornece essas dependências com segurança?

A opção correta é copiar as dependências para um bucket do Cloud Storage dentro do seu perímetro de segurança da VPC. Isso permite que os nós do Dataproc, mesmo sem acesso direto à Internet, acessem os arquivos necessários de forma segura e privada, pois o Cloud Storage pode ser acessado via Private Google Access ou VPC Service Controls, mantendo o tráfego dentro da rede Google. As outras opções são inviáveis ou inseguras: Implantar o Cloud SQL Proxy não resolve o problema de acesso a dependências gerais da Internet, pois ele é específico para o Cloud SQL. Criar um túnel SSH para dar acesso à Internet ao cluster Dataproc é uma solução insegura e complexa, que viola o princípio de isolamento de rede. Usar o Resource Manager para conceder a função Network User à conta de serviço do Dataproc não concede acesso à Internet; essa função é para gerenciar recursos de rede, não para permitir tráfego de saída.