Een online bezorgbedrijf heeft één XGBoost-model per stad opgeslagen in S3 en host momenteel elk model op een eigen EC2-instantie (5% benutting). Ze willen dat de webapp in realtime de snelste koerier selecteert voor zowel bestaande als nieuwe gebruikers, terwijl de operationele overhead wordt geminimaliseerd. Welke oplossing bereikt dit met de minste beheerinspanning?

De juiste oplossing is het bouwen van een SageMaker container met een multi-model server en het implementeren van een SageMaker multi-model endpoint. Dit minimaliseert de operationele overhead omdat één endpoint meerdere modellen kan hosten, die dynamisch uit S3 worden geladen op basis van de TargetModel parameter in de aanroep. Dit vermindert het aantal instanties en beheertaken aanzienlijk vergeleken met afzonderlijke endpoints of EC2-instanties. De andere opties zijn minder efficiënt: Een SageMaker notebook voor batchtransformatie is niet geschikt voor real-time voorspellingen. Het consolideren naar één EC2-instantie met een modelserver verhoogt de beheerinspanning en schaalbaarheidsproblemen vergeleken met SageMaker. Afzonderlijke SageMaker endpoints per stad leiden tot veel endpoints en hogere kosten en beheerinspanning, zelfs als ze de EC2-instanties vervangen.