一个ETL作业必须处理用户放入S3存储桶中的每日.csv文件。每个文件都小于100 MB。哪种实现方式最具成本效益？

对于小于100 MB的每日CSV文件，AWS Glue Python shell作业是最具成本效益的解决方案。它按需运行，仅在作业执行期间付费，并且对于轻量级数据处理任务（如使用pandas处理小文件）非常高效。 其他选项的成本效益较低： Amazon EKS集群托管自定义Python应用程序会产生持续的集群运行成本，即使没有作业运行，且对于这种简单任务来说过于复杂。 Amazon EMR集群托管PySpark脚本同样会产生持续的集群运行成本，并且对于处理小文件而言，其分布式计算能力是过度的，导致资源浪费。 AWS Glue PySpark作业虽然是无服务器的，但其底层仍然启动Spark集群，对于小于100 MB的单个文件，Spark的启动和运行开销相对较高，不如Python shell作业轻量和经济。