Внешний партнер ежедневно загружает в GCS CSV-файлы с некорректными строками. Вам необходимо загрузить эти данные в BigQuery и проверить ошибочные строки. Какой дизайн конвейера подходит для этой задачи?

Правильный ответ — запустить пакетный конвейер Google Cloud Dataflow для импорта данных в BigQuery и отправлять ошибки в другую таблицу-отстойник для анализа. Dataflow позволяет гибко обрабатывать данные, включая их проверку и маршрутизацию ошибочных записей в отдельную таблицу для дальнейшего анализа, что соответствует требованию проверки некорректных строк. Использование федеративных источников данных не позволяет эффективно обрабатывать и изолировать ошибочные строки. Мониторинг BigQuery в Stackdriver может уведомить о сбоях загрузки, но не поможет в проверке и изоляции некорректных строк внутри файла. Импорт данных с maxbadrecords=0 приведет к полному сбою загрузки при обнаружении первой же некорректной строки, что не соответствует задаче загрузки данных и проверки ошибок.