Los archivos CSV en Cloud Storage contienen tipos de datos mixtos y formatos inconsistentes (números de teléfono, direcciones). ¿Qué enfoque de pipeline garantiza la calidad de los datos mediante la limpieza y transformación antes de cargarlos en BigQuery?

Data Fusion es una plataforma de integración de datos completamente administrada que permite crear, administrar y orquestar pipelines de datos. Es ideal para escenarios con datos mixtos e inconsistentes porque ofrece una interfaz visual para diseñar transformaciones complejas (limpieza, normalización, validación) antes de que los datos lleguen a BigQuery, asegurando la calidad desde el origen. Convertir a AVRO es un buen paso para la eficiencia y la autodescripción, pero no aborda directamente la limpieza y transformación de los datos inconsistentes. Cargar en una tabla de staging y transformar con SQL es posible, pero Data Fusion simplifica y visualiza estas transformaciones, siendo más eficiente para datos muy inconsistentes. Transformar in situ después de cargar los CSV es ineficiente y puede causar errores si los datos no cumplen con el esquema de BigQuery.