Firma telekomunikacyjna wdrożyła model wytrenowany na danych z kilku lat z jednego regionu, aby identyfikować klientów, którzy prawdopodobnie zrezygnują z usług, gdy zadzwonią do obsługi klienta. Firma zamierza wprowadzić globalny produkt i obawia się, że model może błędnie kierować wiele połączeń z regionów bez danych treningowych do zespołu specjalistów. Jakie podejście najskuteczniej eliminuje to ryzyko?

Prawidłowa odpowiedź skutecznie rozwiązuje problem dryfu danych i konieczności adaptacji modelu do nowych regionów. Włączenie przechwytywania danych przez SageMaker Model Monitor na punkcie końcowym pozwala na zbieranie danych wejściowych i wyjściowych modelu. Utworzenie punktu odniesienia danych treningowych (baseline) umożliwia porównywanie nowych danych z tymi, na których model był szkolony. Zaplanowanie zadań monitorowania i alertowanie za pomocą CloudWatch, gdy dane regionalne odbiegają od punktu odniesienia, sygnalizuje, że model może nie działać optymalnie. Ponowna ocena i ponowne wytrenowanie modelu z szerszymi danymi, włączającymi dane z nowych regionów, jest kluczowe dla poprawy jego wydajności globalnie. Pozostałe opcje są mniej skuteczne: SageMaker Debugger jest przeznaczony do monitorowania i debugowania procesu treningowego, a nie do monitorowania dryfu danych w czasie wnioskowania. Monitorowanie prawdziwych/fałszywych pozytywów i negatywów wymagałoby etykietowania danych w czasie rzeczywistym, co jest niepraktyczne i opóźnia wykrycie problemu. Logowanie CloudWatch i wysyłanie logów do S3 to tylko część rozwiązania; nie zapewnia automatycznego monitorowania dryfu danych ani mechanizmów alarmowania w kontekście odchyleń od punktu odniesienia danych treningowych w sposób tak kompleksowy jak Model Monitor.