Concevez un pipeline de données qui s'adapte automatiquement, assure un traitement au moins une fois et préserve l'ordre des messages dans des fenêtres d'une heure. Quelle architecture devriez-vous utiliser ?

La bonne réponse est d'utiliser Cloud Pub/Sub pour l'ingestion des messages et Cloud Dataflow pour l'analyse en continu. Cloud Pub/Sub est un service de messagerie entièrement géré et auto-évolutif qui garantit la livraison au moins une fois et préserve l'ordre des messages dans une même région, ce qui est essentiel pour les fenêtres d'une heure. Cloud Dataflow est un service entièrement géré pour l'exécution de pipelines Apache Beam, offrant une auto-mise à l'échelle, un traitement au moins une fois et des capacités avancées de fenêtrage pour gérer les données dans des fenêtres temporelles. Apache Kafka et Cloud Dataproc sont de bonnes options pour l'ingestion et le traitement de données, mais ils nécessitent plus de gestion manuelle de l'évolutivité et de la haute disponibilité par rapport aux services entièrement gérés de Google Cloud. Cloud Dataproc, bien qu'il puisse traiter des flux, n'est pas aussi optimisé que Dataflow pour le traitement de flux avec des garanties de fenêtrage et de livraison.