Een team wil op lange termijn meerdere versies van een voorspellingsmodel in productie draaien, de verhouding van inferenties die door elke versie worden geleverd controleren en de implementatie-inspanning minimaliseren. Welke oplossing voldoet het beste aan deze behoeften?

De juiste oplossing is om de modellen in SageMaker te hosten en een enkele endpoint configuratie met meerdere production variants te creëren. Door de variant weights aan te passen, kan het team de verhouding van inferenties die door elke modelversie worden afgehandeld, nauwkeurig controleren. Dit minimaliseert de implementatie-inspanning omdat er slechts één endpoint hoeft te worden beheerd, en het ondersteunt het langdurig draaien van meerdere modelversies. Het hosten van elk model in afzonderlijke endpoints vereist meer beheer en de applicatie moet de routing logica zelf implementeren, wat complexiteit toevoegt. Het compileren met SageMaker Neo is voor edge devices en niet voor het beheren van meerdere modelversies in de cloud. Batch transform is voor offline inferenties en niet voor real-time verkeersbeheer over meerdere modelversies.