Een luchtvaartssysteem produceert bedrijfseigen vluchtgegevens die efficiënt naar BigQuery moeten worden gestreamd, terwijl het resourcegebruik wordt geminimaliseerd. Welke ingestieaanpak moet u gebruiken?

De correcte aanpak is het gebruik van een aangepaste Apache Beam-connector om een Dataflow-pipeline te schrijven die de gegevens in Avro-formaat naar BigQuery streamt. Dataflow, gebaseerd op Apache Beam, is een volledig beheerde service voor het verwerken van zowel batch- als streaminggegevens, wat ideaal is voor efficiënte, real-time ingestie met minimaal resourcegebruik. Avro is een compact, schema-gebaseerd binair formaat dat zeer efficiënt is voor het streamen van gegevens naar BigQuery, omdat het de overhead minimaliseert en de prestaties verbetert. De andere opties zijn minder geschikt: Een shellscript met een Cloud Function voor periodieke ETL-batchtaken is niet optimaal voor efficiënte streaming en real-time data-ingestie. Een standaard Dataflow-pipeline die ruwe gegevens opslaat en later transformeert, is minder efficiënt dan direct streamen in een geoptimaliseerd formaat. Apache Hive met een Dataproc-taak voor CSV-streaming is minder efficiënt en schaalbaar voor streaming dan Dataflow met Avro, en CSV is een minder efficiënt formaat voor BigQuery-ingestie dan Avro.