DataWave Inc. esegue un modello di frode a bassa latenza su un endpoint SageMaker in tempo reale (una singola variante di produzione). Vogliono eseguire uno shadow test instradando il 5% del traffico di produzione live a una nuova variante del modello (lo shadow) mentre il 95% continua alla variante corrente; le risposte del modello shadow non devono essere restituite ai client (verranno registrate per un confronto offline). Qual è il modo più appropriato e meno invasivo per implementarlo all'interno di SageMaker?

L'opzione corretta è la più appropriata perché SageMaker supporta nativamente i test shadow (chiamati anche A/B testing o canary deployments) tramite la configurazione di più varianti di produzione con pesi iniziali. Impostando InitialVariantWeight su 0.05 per la variante shadow e 0.95 per quella corrente, SageMaker instrada automaticamente il 5% del traffico alla variante shadow. Le risposte della variante shadow non vengono restituite al client, ma possono essere registrate per l'analisi offline, soddisfacendo i requisiti del problema. Le altre opzioni sono meno appropriate: La seconda opzione richiede una logica lato client per scartare le risposte, il che è un onere aggiuntivo e non è l'approccio più pulito per un test shadow. La terza opzione introduce complessità aggiuntive con un ALB e due endpoint separati, che è più invasivo e costoso rispetto all'utilizzo delle funzionalità native di SageMaker. La quarta opzione, pur utilizzando un endpoint multi-modello, richiede una Lambda personalizzata per l'instradamento, aggiungendo complessità e un punto di errore che le funzionalità native di SageMaker gestiscono direttamente.