Разработайте высокодоступный и отказоустойчивый конвейер озера данных для миллионов IoT-датчиков, передающих структурированные и неструктурированные данные. Что вы должны сделать?

Pub/Sub — это полностью управляемая служба обмена сообщениями, которая обеспечивает асинхронную передачу сообщений между приложениями. Она идеально подходит для приема больших объемов данных IoT благодаря своей масштабируемости и отказоустойчивости. Dataflow — это полностью управляемая служба для выполнения потоковой и пакетной обработки данных, которая может обрабатывать данные из Pub/Sub, выполнять необходимые преобразования и записывать их в Cloud Storage. Cloud Storage — это масштабируемое и экономичное объектное хранилище, подходящее для хранения как структурированных, так и неструктурированных данных озера данных. Использование Storage Transfer Service для отправки данных в BigQuery не подходит, так как эта служба предназначена для переноса данных между различными источниками хранения, а не для потоковой обработки. Передача данных напрямую в Dataflow не является оптимальной, так как Pub/Sub лучше справляется с приемом и буферизацией высокоскоростных потоков данных. Dataprep by Trifacta предназначен для подготовки данных, а не для их потоковой обработки и записи в Bigtable, который является базой данных NoSQL, а не основным хранилищем для озера данных.