合作夥伴將純文字信用卡資料（大約每 15 分鐘 5,000 筆記錄）傳送到 S3 儲存貯體（伺服器端加密）。公司必須自動遮罩 PAN、移除/合併欄位，並將記錄轉換為 JSON，然後將結果傳送到另一個 S3 儲存貯體進行內部處理。此設計應易於擴展以支援額外的資料來源。哪種解決方案符合這些要求？

此解決方案符合所有要求，因為 AWS Glue 專為此類 ETL 工作負載而設計。Glue Crawler 可以自動識別資料結構，即使是半結構化資料，並建立自訂分類器來處理特定的純文字格式。Glue ETL 任務可以使用 PySpark 或 Scala 腳本來執行遮罩、欄位操作和格式轉換（例如轉換為 JSON）。將結果輸出到 S3 儲存貯體是 Glue 的標準功能。Lambda 函數可以作為 S3 事件觸發器，在檔案上傳後啟動 Glue 作業，實現自動化。Glue 服務是無伺服器的，可以自動擴展以處理大量資料，並支援多個資料來源，滿足可擴展性要求。 第一個選項過於複雜且效率低下，涉及多個 Lambda 函數和 SQS 佇列，增加了延遲和管理開銷。第二個選項使用 Fargate 容器，雖然可行，但相比於專為 ETL 設計的 Glue，其擴展性和管理可能更複雜，且成本效益不一定最佳。第三個選項使用 Athena 和 EMR，雖然 EMR 可以處理 ETL，但對於這種批次處理，啟動和縮減 EMR 叢集會增加延遲和成本，且 Athena 主要用於查詢而非 ETL 作業啟動。