您需要对广告数据进行近实时清洗，以识别长尾和异常点，然后将其馈送给 AI 模型和分析。您应该使用什么？

Dataflow 是一个完全托管的无服务器服务，非常适合处理近实时流数据。它允许您使用 Apache Beam SDK 以编程方式实现复杂的转换逻辑，例如识别长尾和异常点。将 BigQuery 作为接收器，可以直接将处理后的数据高效地存储到数据仓库中，供 AI 模型和分析使用。 其他选项不适合此场景： Cloud Storage 和 shell 脚本虽然可以处理数据，但缺乏近实时处理能力和扩展性，不适合流式数据清洗。 BigQuery 主要是一个数据仓库和分析平台，虽然可以进行一些数据准备，但其批处理特性不适合近实时的数据清洗和复杂编程逻辑。 Cloud Composer 是一个工作流编排服务，用于调度和管理数据管道，但它本身不执行数据处理，需要结合其他服务如 Dataflow 来完成实际的数据清洗工作。