Разработайте конвейер данных, который автоматически масштабируется, обеспечивает обработку как минимум один раз (at-least-once processing) и сохраняет порядок сообщений в пределах 1-часовых окон. Какую архитектуру следует использовать?

Правильный ответ — Cloud Pub/Sub для приема сообщений и Cloud Dataflow для потокового анализа. Cloud Pub/Sub является полностью управляемой службой обмена сообщениями, которая автоматически масштабируется и обеспечивает доставку сообщений как минимум один раз. Cloud Dataflow — это полностью управляемая служба для выполнения заданий Apache Beam, которая поддерживает автоматическое масштабирование, обработку как минимум один раз и позволяет сохранять порядок сообщений в пределах окон (например, 1-часовых), используя функции оконной обработки. Использование Apache Kafka (опции 1 и 2) требует самостоятельного управления кластером, что противоречит требованию автоматического масштабирования и управляемости. Cloud Dataproc (опции 1 и 3) является управляемым сервисом для Apache Spark и Hadoop, но он не так хорошо оптимизирован для потоковой обработки с гарантией обработки как минимум один раз и сохранения порядка в окнах, как Cloud Dataflow.