한 회사가 최근 AWS 클라우드로 마이그레이션했으며, Amazon S3에 저장된 반정형 데이터셋(로그, 미디어 파일, 트랜잭션, IoT)의 대규모 온디맨드 병렬 처리를 위한 서버리스 솔루션을 원합니다. 이 솔루션은 수천 개의 항목을 병렬로 처리해야 합니다. 어떤 옵션이 가장 운영 효율성을 제공할까요?

AWS Step Functions의 분산 모드(Distributed mode) Map state는 수십만 개의 병렬 항목을 처리할 수 있어 대규모 온디맨드 병렬 처리에 가장 적합합니다. 각 반복은 독립적인 워크플로 실행으로 실행되어 높은 확장성과 처리량을 제공합니다. 인라인 모드(Inline mode) Map state는 최대 40개의 병렬 반복으로 제한되어 요구 사항을 충족하지 못합니다. AWS Glue는 ETL 작업에 적합하지만, 서버리스 온디맨드 병렬 처리를 위한 워크플로 오케스트레이션에는 Step Functions가 더 효율적입니다. 여러 Lambda 함수를 직접 호출하는 것은 오케스트레이션 및 오류 처리가 복잡해져 운영 효율성이 떨어집니다.