HealthData Labs wil drift in feature attributions (SHAP-waarden) voor een klinisch risicomodel volgen. Ze hebben de SHAP-waarden van de trainingsset al berekend en opgeslagen in s3://healthdata-baselines/shap/. De productie-endpoint legt inputs en modeloutputs vast in s3://healthdata-capture/. Welke aanpak stelt hen in staat om SageMaker monitoring te gebruiken om veranderingen in SHAP-distributies over tijd te detecteren?

De juiste aanpak is om SageMaker Model Explainability Monitoring te gebruiken. Deze service is specifiek ontworpen voor het detecteren van drift in feature-attributies (zoals SHAP-waarden). Het stelt u in staat om een baseline van SHAP-waarden te berekenen op de trainingsdata met SageMaker Clarify, deze op te slaan, en vervolgens periodiek SHAP-waarden te berekenen op vastgelegde productie-data (via data capture en Clarify processing) en deze te vergelijken met de baseline. De andere opties zijn onjuist: De ingebouwde SHAP export-vlag bestaat niet; SageMaker annoteert niet automatisch verzoeken met SHAP. CloudWatch-metrische alarmen op FeatureImportance-metrics zijn niet standaard beschikbaar voor SHAP-waarden en vereisen een complexe, handmatige implementatie die niet schaalbaar is. Een Athena-query om benaderde SHAP te berekenen is inefficiënt, complex en niet de bedoelde manier om SHAP-drift te monitoren met SageMaker.