Cloud Pub/Sub에서 Dataflow를 통해 BigQuery로 스트리밍되는 IoT 데이터 미리 보기에서 약 2%의 손상된 레코드가 발견되었습니다. 손상된 데이터를 필터링하도록 Cloud Dataflow 파이프라인을 어떻게 수정해야 할까요?

손상된 레코드를 필터링하려면 Cloud Dataflow 파이프라인에 ParDo 변환을 추가하는 것이 가장 효율적인 방법입니다. ParDo는 파이프라인의 각 요소에 대해 사용자 정의 함수를 실행하여 요소를 변환하거나 필터링할 수 있는 핵심 변환입니다. 이 경우, 손상된 데이터를 식별하고 파이프라인에서 제거하는 로직을 ParDo 내에 구현하여 유효한 데이터만 다음 단계로 전달되도록 할 수 있습니다. SideInput은 추가적인 데이터 소스를 제공하는 데 사용되며, 개별 요소의 유효성을 검사하는 필터링 로직에는 직접적이지 않습니다. Partition 변환은 데이터를 여러 PCollection으로 분할하지만, 손상된 데이터를 제거하는 것이 아니라 유효한 데이터와 손상된 데이터를 분리하는 데 더 적합합니다. GroupByKey는 키를 기반으로 데이터를 그룹화하는 데 사용되며, 개별 요소의 유효성을 검사하고 필터링하는 목적과는 다릅니다.