ETLジョブは、ユーザーがS3バケットに配置する日次の.csvファイルを処理する必要があります。各ファイルは100 MB未満です。最も費用対効果の高い実装はどれですか？

正解は、AWS Glue Python shellジョブを記述し、pandasを使用してデータを変換することです。これは、日次で100MB未満の小さなCSVファイルを処理するのに最も費用対効果が高いからです。Python shellジョブは、Sparkクラスターをプロビジョニングする必要がないため、PySparkジョブやEMRクラスターよりもコストを抑えられます。pandasライブラリは、この規模のデータ処理に十分なパフォーマンスを発揮します。 カスタムPythonアプリケーションをEKSでホストする方法は、インフラストラクチャの管理オーバーヘッドとコストが高くなります。PySpark ETLスクリプトをEMRクラスターでホストする方法、またはAWS Glue PySparkジョブを使用する方法は、Sparkクラスターの起動と維持にコストがかかり、この小さなデータ量に対しては過剰なリソースとなります。