Un sistema aeroespacial produce datos de vuelo propietarios que deben transmitirse a BigQuery de manera eficiente y minimizando el uso de recursos. ¿Qué enfoque de ingesta debería utilizar?

La opción de usar un conector personalizado de Apache Beam para escribir un pipeline de Dataflow que transmita datos a BigQuery en formato Avro es la más eficiente y minimiza el uso de recursos. Apache Beam permite el procesamiento de datos en streaming, lo que es ideal para datos de vuelo que requieren baja latencia. Dataflow es un servicio completamente administrado, lo que reduce la sobrecarga operativa. El formato Avro es compacto y eficiente para la transmisión de datos, y BigQuery lo soporta de forma nativa. Las otras opciones son menos óptimas: Un script de shell con Cloud Functions para ETL por lotes no es ideal para la eficiencia y baja latencia que requieren los datos de vuelo. Almacenar datos sin procesar y transformarlos después en BigQuery es menos eficiente que procesarlos en streaming, y puede generar costos adicionales de almacenamiento y procesamiento. Usar Apache Hive y Dataproc para transmitir CSV a BigQuery es menos eficiente que un pipeline de Dataflow con Avro, ya que CSV es menos compacto y Dataproc requiere más gestión de recursos que Dataflow.