Un'azienda di e-commerce ha un endpoint SageMaker factorization machines (FM) distribuito per i consigli sui prodotti. Il team ha addestrato due nuovi modelli (TensorFlow e PyTorch) e deve eseguire test A/B con le seguenti regole di routing: inviare il 70% del traffico al modello FM, il 15% al modello TensorFlow, il 15% al modello PyTorch; ma per i clienti europei, instradare tutto il traffico al modello TensorFlow. Quale architettura supporta questo comportamento?

L'opzione corretta sfrutta le funzionalità native di SageMaker per i test A/B e il routing condizionale. SageMaker consente di creare più varianti di produzione all'interno di un singolo endpoint, assegnando pesi per distribuire il traffico in base alle percentuali desiderate (70% FM, 15% TensorFlow, 15% PyTorch). Per il routing specifico per i clienti europei, l'intestazione TargetVariant nelle richieste di inferenza è il meccanismo standard di SageMaker per indirizzare esplicitamente il traffico a una variante specifica, bypassando la distribuzione ponderata. Le opzioni che propongono l'uso di Application Load Balancer (ALB) o Network Load Balancer (NLB) sono meno efficienti e più complesse, in quanto richiederebbero la gestione di più endpoint SageMaker separati e la configurazione di bilanciatori di carico esterni, aggiungendo overhead e costi. Inoltre, l'ALB non è progettato per interagire direttamente con le varianti di un singolo endpoint SageMaker in questo modo. L'opzione che menziona l'auto scaling policy è irrilevante per la logica di routing richiesta.