Een team heeft een CNN getraind op Amazon SageMaker met GPU's en zal deze implementeren op een SageMaker-endpoint voor real-time identificatie van minerale afbeeldingen. Ze kennen het verwachte verkeerspatroon al en moeten het beste instancetype en de beste configuratie kiezen. Welke aanpak vereist de minste ontwikkelingsinspanning om de juiste instantieconfiguratie te kiezen?

De SageMaker Inference Recommender is ontworpen om de beste instantieconfiguratie voor implementatie te vinden. Het 'Advanced' job type is de beste keuze wanneer u een bekend verkeerspatroon heeft, omdat het uitgebreidere belastingstests uitvoert en een gedetailleerdere analyse biedt dan het 'Default' type. Het registreren van het model artifact en de container in de SageMaker Model Registry is een noodzakelijke stap om de Inference Recommender te kunnen gebruiken. De andere opties vereisen aanzienlijk meer ontwikkelingsinspanning door handmatige implementatie, belastingstests met open-source tools en het routeren van verkeer via Lambda en API Gateway, wat niet de meest efficiënte aanpak is voor het optimaliseren van instantieconfiguraties.