Cloud Storage에 5년치 로그를 업로드했는데, 오류를 나타내는 범위를 벗어난 값을 발견했습니다. 값을 수정하고, 규정 준수를 위해 원본을 유지하며, 프로세스를 다시 실행할 수 있어야 합니다. 어떻게 해야 할까요?

정답은 Dataflow 파이프라인을 생성하는 것입니다. Dataflow는 대규모 데이터 변환에 적합하며, Cloud Storage에서 데이터를 읽어 오류를 수정하고 새 데이터 세트에 쓰는 과정을 효율적으로 처리할 수 있습니다. 이는 원본 데이터를 보존하면서 규정 준수를 충족시키는 가장 좋은 방법입니다. 오답 설명: BigQuery로 데이터를 가져와 오류가 있는 행을 건너뛰는 것은 원본 데이터를 수정하지 않고, 규정 준수를 위해 원본을 유지해야 한다는 요구사항을 충족하지 못합니다. 또한, 오류가 있는 행을 건너뛰면 데이터 손실이 발생할 수 있습니다. Compute Engine 인스턴스를 생성하여 데이터를 복사하고 오류가 있는 행을 건너뛰는 것은 Dataflow보다 관리 오버헤드가 크고 확장성이 떨어집니다. 또한, 오류가 있는 행을 건너뛰면 데이터 손실이 발생할 수 있습니다. Cloud Storage의 동일한 데이터 세트에 다시 쓰는 것은 원본 데이터를 덮어쓰므로 규정 준수를 위해 원본을 유지해야 한다는 요구사항을 위반합니다.