파트너가 일반 텍스트 신용 카드 데이터(15분마다 약 5,000개 레코드)를 S3 버킷(서버 측 암호화됨)으로 보냅니다. 회사는 PAN을 자동으로 마스킹하고, 필드를 제거/병합하고, 레코드를 JSON으로 변환한 다음, 결과를 내부 처리를 위해 다른 S3 버킷으로 보내야 합니다. 이 설계는 추가 피드에 대해 쉽게 확장할 수 있어야 합니다. 어떤 솔루션이 이러한 요구 사항을 충족합니까?

정답은 AWS Glue 크롤러와 ETL 작업을 사용하는 것입니다. AWS Glue 크롤러는 사용자 지정 분류기를 사용하여 들어오는 일반 텍스트 데이터의 스키마를 자동으로 감지하고 데이터 카탈로그에 저장할 수 있습니다. S3 객체 도착 시 Lambda 함수를 트리거하여 AWS Glue ETL 작업을 시작하면 됩니다. 이 ETL 작업은 Python 또는 Scala로 작성되어 PAN 마스킹, 필드 변환(제거/병합), JSON 변환을 효율적으로 수행하고 결과를 대상 S3 버킷에 저장할 수 있습니다. AWS Glue는 서버리스 방식으로 확장 가능하며, 추가 피드에 대한 새로운 ETL 작업을 쉽게 추가할 수 있어 요구 사항을 충족합니다. 오답 설명: 첫 번째 Lambda/SQS/Lambda/Lambda 조합은 불필요하게 복잡하며, 특히 레코드당 SQS 메시지를 처리하는 오버헤드가 커서 비효율적입니다. Fargate 컨테이너 솔루션은 SQS를 사용하여 확장성을 제공하지만, 데이터 스키마 감지 및 ETL 로직 개발이 수동으로 이루어져야 하므로 Glue보다 관리 오버헤드가 더 큽니다. Athena 쿼리 및 EMR 클러스터 솔루션은 EMR 클러스터 관리 및 확장/축소 오버헤드가 크고, Athena는 주로 쿼리 도구이지 ETL 파이프라인의 핵심 구성 요소가 아닙니다.