Sie führen alle zwei Stunden eine aggregierte SQL-Transformation aus, die an eine BigQuery-Tabelle anhängt. Die Pipeline muss bei Fehlern wiederholt werden und nach drei aufeinanderfolgenden Fehlern eine E-Mail senden. Wie konfigurieren Sie Cloud Composer?

Der BigQueryInsertJobOperator ist die korrekte Wahl, da er für das Ausführen von BigQuery-Jobs, einschließlich SQL-Transformationen, konzipiert ist und die Parameter retries und emailonfailure direkt unterstützt, um die Anforderungen an Wiederholungen und Benachrichtigungen zu erfüllen. Die Angabe von retries=3 ermöglicht drei Wiederholungsversuche bei Fehlern, und emailonfailure=true sendet eine E-Mail nach dem endgültigen Fehlschlag. Der BigQueryUpsertTableOperator ist für das Einfügen oder Aktualisieren von Zeilen basierend auf einem Schlüssel gedacht, nicht für allgemeine SQL-Transformationen. Geplante BigQuery-Abfragen bieten zwar Planungs- und E-Mail-Benachrichtigungen, aber die Anforderung, nach drei aufeinanderfolgenden Fehlern eine E-Mail zu senden, ist mit Cloud Composer und seinen Operatoren einfacher und direkter zu konfigurieren als mit der nativen BigQuery-Planung oder einer komplexeren Kombination aus Pub/Sub und Cloud Functions.