Een productie SageMaker-endpoint draait modelversie v1. Een nieuwe versie v2 moet in productie worden getest met minimaal risico en zonder verstoring van live verkeer. Wat is de beste aanpak om v2 te valideren voordat er wordt overgeschakeld?

De beste aanpak is om v2 als een shadow variant te implementeren. Dit betekent dat v2 een kopie van 100% van de inferentieaanvragen ontvangt die naar v1 worden gestuurd, maar de resultaten van v2 worden niet teruggegeven aan de gebruiker. Dit heeft geen impact op de live gebruikerservaring en minimaliseert het risico. De uitvoer van v2 kan worden opgeslagen in S3 voor offline evaluatie en vergelijking met v1. Als v2 goed presteert, kan het veilig naar productie worden gepromoveerd. De andere opties, zoals het routeren van een percentage van het live verkeer naar v2 (1% of 10%), introduceren een risico voor live gebruikers, omdat de prestaties van v2 onbekend zijn. Het implementeren van v2 naar een nieuw endpoint en handmatig 100% van de invoer ernaartoe sturen, is minder efficiënt en kan meer operationele overhead met zich meebrengen dan een shadow variant.