BigQuery ML로 모델을 구축하고 Vertex AI에 호스팅할 것입니다. 벤더 스트림은 지속적으로 도착하며 유효하지 않은 값을 포함할 수 있습니다. BigQuery로 보내기 전에 거의 실시간으로 데이터를 처리하고 정제하려면 어떻게 해야 합니까?

이 시나리오에서는 지속적으로 도착하는 데이터를 거의 실시간으로 처리하고 정제해야 합니다. Pub/Sub은 스트리밍 데이터 수집에 적합하며, Dataflow는 복잡한 데이터 처리 및 정제 로직을 대규모로 수행할 수 있는 강력한 도구입니다. Dataflow를 사용하여 유효하지 않은 값을 필터링하거나 변환한 후 BigQuery로 스트리밍하여 저장할 수 있습니다. BigQuery ML 모델은 이 정제된 데이터를 사용하여 학습하거나 예측에 활용할 수 있습니다. 다른 옵션들은 다음과 같은 이유로 적합하지 않습니다: 새 BigQuery 데이터세트를 생성하고 스트리밍 삽입을 사용하는 것은 데이터 정제 단계를 포함하지 않습니다. BigQuery 스트리밍 삽입을 사용하는 것 또한 데이터 정제 단계를 포함하지 않습니다. Cloud Function은 짧은 실행 시간과 제한된 리소스로 인해 대규모 스트리밍 데이터 처리 및 복잡한 정제 작업에는 적합하지 않을 수 있습니다. Dataflow는 이러한 요구사항에 더 적합합니다.