Вам необходимо хранить необработанные неструктурированные исходные данные точно в том виде, в каком они были получены (схема может меняться), для последующей повторной обработки. Где следует разместить необработанные данные и как конвейеры должны получать к ним доступ?

Правильный ответ — хранить необработанные неструктурированные данные в бакете Cloud Storage. Cloud Storage идеально подходит для хранения любых типов данных, включая неструктурированные, и позволяет сохранять их в исходном виде, даже если схема меняется. Конвейеры обработки могут легко получать доступ к данным непосредственно из бакета для последующей обработки. Неправильные варианты: Сохранение обработанных данных в BigQuery или Cloud Storage не соответствует требованию хранения необработанных данных для повторной обработки. Сохранение необработанных данных непосредственно в таблице BigQuery не подходит, так как BigQuery является хранилищем структурированных данных и требует определенной схемы, что противоречит требованию хранения неструктурированных данных с изменяющейся схемой.