У вас есть большие неструктурированные файлы различных форматов, и вам нужен доступ к ним для задания Dataflow ETL. Куда следует поместить данные?

Cloud Storage — это масштабируемое и экономичное объектное хранилище, идеально подходящее для больших неструктурированных файлов различных форматов. Dataflow может напрямую читать данные из Cloud Storage, что делает его оптимальным выбором для ETL-задач. Использование gsutil — это стандартный способ загрузки файлов в Cloud Storage. BigQuery предназначен для структурированных данных и аналитики, а не для хранения неструктурированных файлов. Cloud SQL и Cloud Spanner — это реляционные базы данных, которые не подходят для хранения больших объемов неструктурированных файлов и не являются оптимальным источником для Dataflow в данном сценарии.