Eine Bank nutzte XGBoost, trainiert mit Transaktionsdaten von 7 Jahren, um ein Kreditwürdigkeitsmodell zu erstellen. Das Modell ist genau, aber das Kredit-Team (mit wenig Data-Science-Expertise) kann nicht nachvollziehen, warum einigen Kunden Kredite verweigert werden. Was ist der betrieblich effizienteste Weg für das Data-Science-Team, um dem Kredit-Team Erklärungen zu liefern?

Die korrekte Antwort ist die effizienteste, da Amazon SageMaker Debugger speziell dafür entwickelt wurde, Einblicke in Modelltrainings zu geben, einschließlich der Berechnung von Shapley-Werten für die Modellinterpretierbarkeit. Durch die Konfiguration von Debugger zur Erfassung dieser Werte während des Trainings können SHAP-Diagramme erstellt werden, die dem Kredit-Team verständliche Erklärungen liefern, warum bestimmte Kreditentscheidungen getroffen wurden. Dies ist ein integrierter und optimierter Ansatz innerhalb der SageMaker-Umgebung. Die Option, SageMaker Model Monitor zu verwenden, ist weniger effizient, da Model Monitor hauptsächlich zur Überwachung der Modellleistung und Datenabweichung nach der Bereitstellung dient und nicht primär zur Berechnung von Shapley-Werten während des Trainings. Die lokale Neuerstellung des Modells und die Verwendung von plotimportance() liefert zwar Feature-Wichtigkeiten, aber SHAP-Werte bieten eine detailliertere und kausalere Erklärung für einzelne Vorhersagen, was für das Kredit-Team relevanter ist. SageMaker Processing könnte zwar für die Nachanalyse verwendet werden, ist aber im Vergleich zur direkten Integration von Debugger zur Erfassung von Shapley-Werten während des Trainings ein zusätzlicher Schritt und somit weniger betrieblich effizient.