Si desidera addestrare un modello BigQuery ML con pre-elaborazione SQL, ma si eseguiranno le previsioni su input grezzi e non trasformati. Come si dovrebbero strutturare l'addestramento e la previsione per evitare lo skew dei dati al momento della previsione?

La clausola TRANSFORM di BigQuery ML è progettata per incorporare i passaggi di pre-elaborazione direttamente nel modello. Questo garantisce che le stesse trasformazioni applicate durante l'addestramento vengano automaticamente applicate ai dati grezzi durante la previsione, prevenendo lo skew dei dati di previsione. Utilizzare ML.EVALUATE (o ML.PREDICT) sui dati di input grezzi senza ulteriori trasformazioni è corretto perché il modello stesso gestirà la pre-elaborazione definita nella clausola TRANSFORM. Le altre opzioni sono errate perché: Trasformare i dati manualmente prima della previsione (opzione 2) introduce il rischio di discrepanze tra le trasformazioni di addestramento e quelle di previsione. Usare una vista (opzione 3) non incorpora le trasformazioni nel modello stesso, richiedendo una gestione separata delle trasformazioni in fase di previsione. Pre-elaborare con Dataflow (opzione 4) è una soluzione esterna che non sfrutta le capacità integrate di BigQuery ML per la gestione delle trasformazioni, aumentando la complessità e il rischio di skew.