El código actualmente inserta muchas filas pequeñas en BigQuery. ¿Qué cambio mejorará el rendimiento?

La inserción de varias filas por solicitud reduce la sobrecarga de la red y el procesamiento por cada operación de inserción, lo que mejora significativamente el rendimiento al insertar un gran número de filas pequeñas en BigQuery. BigQuery está optimizado para manejar operaciones por lotes. Realizar inserciones en paralelo con múltiples hilos puede ayudar, pero si cada hilo sigue insertando una sola fila por solicitud, la sobrecarga por solicitud persistirá. Escribir cada fila en Cloud Storage y luego cargarla en BigQuery introduce un paso intermedio innecesario y una latencia adicional, lo cual es menos eficiente que las inserciones directas por lotes. La opción de escribir en Cloud Storage en paralelo también sufre de la misma ineficiencia de un paso intermedio.