Un'azienda di consegne online ha un modello XGBoost per ogni città, archiviato in S3, e attualmente ospita ogni modello sulla propria istanza EC2 (utilizzo del 5%). L'azienda desidera che l'applicazione web selezioni il corriere più veloce in tempo reale sia per gli utenti esistenti che per i nuovi, riducendo al minimo l'overhead operativo. Quale soluzione raggiunge questo obiettivo con il minor sforzo di gestione?

L'opzione corretta sfrutta gli endpoint multi-modello di SageMaker, che consentono di ospitare più modelli su un'unica istanza di inferenza. Questo riduce significativamente l'overhead operativo rispetto alla gestione di istanze separate per ogni modello o città, come suggerito da altre opzioni. Il parametro TargetModel consente di specificare quale modello caricare e utilizzare per l'inferenza in tempo reale, soddisfacendo l'esigenza di selezionare il corriere più veloce per ogni città. Le altre opzioni sono meno efficienti: La trasformazione batch non è adatta per decisioni in tempo reale. Consolidare su una singola istanza EC2 richiede gestione manuale e non scala facilmente. Endpoint SageMaker separati per ogni città aumentano l'overhead di gestione e i costi rispetto a un singolo endpoint multi-modello.