FinSight LLC przeprowadza ocenę stronniczości przed szkoleniem za pomocą SageMaker Clarify na zbiorze danych dotyczących zatwierdzania pożyczek przechowywanym w zasobniku S3 (s3://finsight-prod/data). Raport Clarify sprzed szkolenia pokazuje Class Imbalance (CI) = 0.12 dla etykiety docelowej (akceptowalne poniżej 0.2) oraz Difference in Positive Proportions (DPP) dla płci (mężczyzna vs kobieta) = 0.18 (przekracza próg polityki wynoszący 0.10). Zespół modelujący planuje ponowne szkolenie na instancji szkoleniowej ml.c5.4xlarge. Jakie jest najbardziej odpowiednie natychmiastowe działanie w celu rozwiązania tych wyników Clarify przed ponownym szkoleniem?

Poprawna odpowiedź to stworzenie potoku wstępnego przetwarzania, który implementuje ponowne próbkowanie z uwzględnieniem grup lub ponowne ważenie próbek w S3, a następnie ponowne szkolenie. Wyniki Clarify przed szkoleniem wskazują, że Class Imbalance (CI) jest akceptowalny, ale Difference in Positive Proportions (DPP) dla płci przekracza próg polityki. Aby rozwiązać problem DPP przed szkoleniem, należy zastosować techniki wstępnego przetwarzania, takie jak ponowne próbkowanie lub ponowne ważenie, które modyfikują zbiór danych w celu zmniejszenia stronniczości. SageMaker Processing jest odpowiednim narzędziem do tego celu. Pozostałe opcje są nieprawidłowe: Ignorowanie DPP i naprawianie go po szkoleniu za pomocą progowania post-hoc nie jest najbardziej odpowiednim natychmiastowym działaniem, ponieważ problem stronniczości powinien być rozwiązany jak najwcześniej w cyklu życia ML. Usunięcie kolumny płci może prowadzić do ukrytej stronniczości, ponieważ inne atrybuty mogą korelować z płcią i nadal wprowadzać stronniczość. Użycie SageMaker Model Monitor po wdrożeniu jest przeznaczone do wykrywania dryfu modelu w czasie, a nie do rozwiązywania stronniczości przed szkoleniem.