Een model voor het voorspellen van vastgoedprijzen, geïmplementeerd op een website, heeft geleidelijk aan nauwkeurigheid verloren. De engineer moet het model verbeteren en automatisch worden gewaarschuwd voor toekomstige prestatieverminderingen. Welke aanpak voldoet aan beide behoeften?

De correcte aanpak is het uitvoeren van incrementele training en het inschakelen van Amazon SageMaker Model Monitor. Incrementele training helpt het model aan te passen aan nieuwe gegevenspatronen, wat cruciaal is wanneer de nauwkeurigheid geleidelijk afneemt door concept drift. Amazon SageMaker Model Monitor detecteert automatisch afwijkingen in de modelprestaties of data drift en stuurt meldingen, waardoor proactief ingegrepen kan worden bij toekomstige prestatieverminderingen. De andere opties zijn minder effectief: Amazon SageMaker Model Governance richt zich op het beheren van modellevenscycli en compliance, niet op automatische hyperparameter-tuning voor prestatieverbetering. Amazon SageMaker Debugger is bedoeld voor het debuggen van trainingsjobs en het analyseren van interne modelparameters, niet voor het monitoren van de prestaties van een geïmplementeerd model. Alleen opnieuw trainen met recente gegevens zonder incrementele training kan leiden tot verlies van kennis uit oudere, nog steeds relevante gegevens. Het mist ook de automatische waarschuwingscomponent voor toekomstige problemen.