Вы будете обучать модель BigQuery ML с предварительной обработкой SQL, но будете запускать предсказания на необработанных, не преобразованных входных данных. Как следует структурировать обучение и предсказание, чтобы избежать перекоса данных во время предсказания?

Правильный ответ заключается в использовании предложения TRANSFORM в BigQuery ML. Это позволяет определить шаги предварительной обработки непосредственно в запросе CREATE MODEL. Когда вы используете TRANSFORM, BigQuery ML автоматически применяет эти же преобразования к входным данным во время предсказания, даже если вы предоставляете необработанные данные. Это гарантирует согласованность между обучением и предсказанием, предотвращая смещение данных (data skew). Остальные варианты неверны: Предварительная обработка данных с помощью сохраненного запроса или представления BigQuery, а затем использование ML.EVALUATE без явного применения тех же преобразований к необработанным входным данным во время предсказания, приведет к смещению данных, поскольку модель будет ожидать преобразованные данные, а получит необработанные. Использование Dataflow для предварительной обработки всех данных также не решает проблему автоматического применения тех же преобразований к необработанным входным данным во время предсказания без дополнительной логики.