Узлы Dataproc не могут получить доступ к Интернету; необходимо установить дополнительные зависимости запуска с помощью существующего действия инициализации. Как обеспечить безопасную доставку этих зависимостей?

Правильный ответ — скопировать все зависимости в бакет Cloud Storage внутри периметра безопасности вашего VPC. Если узлы Dataproc не имеют доступа к Интернету, то для установки дополнительных зависимостей их необходимо предоставить локально. Cloud Storage является идеальным решением для хранения этих зависимостей, так как он обеспечивает безопасное и масштабируемое хранение данных, а также легко интегрируется с Dataproc. Размещение бакета внутри периметра безопасности VPC гарантирует, что зависимости остаются в вашей контролируемой сетевой среде. Развертывание Cloud SQL Proxy не поможет, так как это инструмент для доступа к Cloud SQL, а не для доставки зависимостей. Создание SSH-туннеля для доступа к Интернету нарушает требование об отсутствии доступа к Интернету и может быть небезопасным. Использование Resource Manager для предоставления роли Network User не решит проблему отсутствия доступа к Интернету для установки зависимостей.