一個 ETL 任務必須處理使用者放置在 S3 儲存貯體中的每日 .csv 檔案。每個檔案都小於 100 MB。哪種實作方式最具成本效益？

對於每日小於 100 MB 的 CSV 檔案，AWS Glue Python shell 任務是最具成本效益的選擇。Python shell 任務適用於輕量級的資料處理，且按秒計費，只為實際運算時間付費，因此成本較低。使用 pandas 庫進行資料轉換效率高，且無需啟動完整的 Spark 環境。 其他選項則成本較高： Amazon EKS 叢集需要持續運行，即使沒有任務也會產生費用，且管理複雜。 Amazon EMR 叢集雖然適合處理大量資料，但對於小檔案來說，啟動和維護成本過高。 AWS Glue PySpark 任務會啟動一個 Spark 環境，對於小檔案而言，其資源消耗和計費模式不如 Python shell 任務經濟。