Een bedrijf levert momenteel zijn ML-model op 10 gereserveerde versnelde instances en moet een nieuwe modelversie implementeren naar een Amazon SageMaker real-time endpoint. De implementatie moet de originele 10 instances blijven gebruiken om beide versies te leveren, één extra gereserveerde instance omvatten voor gebruik tijdens de implementatie, en de overgang uitvoeren zonder downtime. Welke implementatieaanpak voldoet aan deze beperkingen?

Een rolling deployment met een rolling batch size van 1 voldoet aan de vereisten. Bij deze aanpak wordt één instance tegelijk bijgewerkt. De nieuwe modelversie wordt op één van de 10 bestaande instances geïmplementeerd, terwijl de andere 9 instances de oude versie blijven bedienen. Zodra de nieuwe instance succesvol is, wordt de volgende instance bijgewerkt. Dit proces herhaalt zich totdat alle 10 instances de nieuwe versie draaien. De extra gereserveerde instance is niet nodig voor de rolling deployment zelf, maar kan dienen als buffer of voor rollback doeleinden. Deze methode garandeert geen downtime en gebruikt de bestaande instances. Blue/green-implementatie met all-at-once verkeersverschuiving zou 10 extra instances vereisen voor de 'green'-omgeving, wat niet voldoet aan de eis van één extra instance. Blue/green met canary verkeersverschuiving zou ook extra instances vereisen en de verkeersverschuiving is niet direct compatibel met de eis om de originele 10 instances te blijven gebruiken voor beide versies tijdens de overgang. Een shadow test is bedoeld voor het testen van de nieuwe versie zonder live verkeer te beïnvloeden, niet voor een volledige implementatie.