U voert elke twee uur een geaggregeerde SQL-transformatie uit die gegevens toevoegt aan een BigQuery-tabel. De pipeline moet opnieuw proberen bij fouten en een e-mail sturen na drie opeenvolgende fouten. Hoe configureert u Cloud Composer?

De BigQueryInsertJobOperator is de juiste keuze omdat deze specifiek is ontworpen voor het uitvoeren van BigQuery-query's (inclusief aggregaties en transformaties) en het invoegen van resultaten. De retry-parameter in Cloud Composer (Apache Airflow) stelt u in staat om automatisch opnieuw te proberen bij fouten, en emailonfailure=True zorgt voor een e-mailmelding na een mislukte taak. De BigQueryUpsertTableOperator is minder geschikt omdat deze primair bedoeld is voor het bijwerken of invoegen van rijen op basis van een sleutel, wat niet expliciet wordt gevraagd. Geplande BigQuery-query's bieden geen ingebouwde mechanismen voor het opnieuw proberen na een specifiek aantal fouten of voor geavanceerde e-mailmeldingen na meerdere opeenvolgende mislukkingen zonder extra Cloud Functions/Pub/Sub-configuratie, wat complexer is dan de directe functionaliteit van Cloud Composer.