Вам необходимо безопасно автоматизировать ночные задания, которые считывают непубличные пакетные файлы из Cloud Storage, запускают задание Spark Scala в Dataproc и записывают результаты в BigQuery. Как следует безопасно выполнять рабочую нагрузку?

Правильный ответ — запустить задание под сервисным аккаунтом с минимально необходимыми разрешениями. Это соответствует принципу наименьших привилегий, который является лучшей практикой безопасности. Сервисный аккаунт должен иметь только доступ на чтение к бакету Cloud Storage для получения входных файлов и доступ на запись в BigQuery для сохранения результатов. Блокировка бакета Cloud Storage только для вашей учетной записи пользователя не подходит, так как автоматизированные задания должны выполняться от имени сервисного аккаунта, а не пользователя. Предоставление роли Project Owner сервисному аккаунту является избыточным и опасным, поскольку эта роль дает полный контроль над проектом. Использование учетной записи пользователя с ролью Project Viewer недостаточно, так как для чтения файлов и записи в BigQuery требуются более высокие привилегии, а также не рекомендуется использовать пользовательские учетные записи для автоматизированных рабочих нагрузок.