ML 전문가는 SageMaker Clarify를 사용하여 학습 데이터에 40-55세 고객의 예시가 다른 연령대에 비해 현저히 적다는 것을 발견했습니다. 이 관찰은 어떤 유형의 사전 학습 데이터 편향을 나타냅니까?

클래스 불균형(CI)은 데이터 세트의 한 클래스에 다른 클래스보다 훨씬 적은 수의 예시가 있을 때 발생합니다. 이 시나리오에서는 40-55세 고객 그룹이 다른 연령대 그룹에 비해 현저히 적은 수의 예시를 가지고 있으므로 클래스 불균형의 전형적인 예시입니다. 레이블 비율의 차이(DPL)는 다른 그룹에 걸쳐 레이블의 비율이 다를 때 발생하며, 이는 여기에서 관찰된 내용이 아닙니다. 조건부 인구통계학적 불균형(CDD)은 특정 조건 하에서 그룹 간에 데이터 분포의 불균형이 있을 때 발생합니다. Kolmogorov–Smirnov (KS) 테스트는 두 분포가 다른지 여부를 평가하는 통계적 테스트이며, 편향 유형 자체가 아닙니다.