한 회사에서 여러 순차적인 컴퓨팅 집약적 단계를 통해 레코드를 처리하는 사용자 지정 애플리케이션을 Auto Scaling 그룹의 EC2 인스턴스에서 실행하고 있습니다. 각 단계는 최대 5분이 소요됩니다. 현재 어떤 단계라도 실패하면 전체 레코드를 처음부터 다시 처리해야 합니다. 회사는 운영 오버헤드를 최소화하면서 실패한 단계만 다시 처리하기를 원합니다. 이를 충족하는 가장 운영 효율적인 아키텍처는 무엇입니까?

AWS Step Functions는 복잡한 워크플로우를 시각적으로 정의하고 관리할 수 있는 서버리스 오케스트레이션 서비스입니다. 각 처리 단계를 개별 Lambda 함수로 구현하고 Step Functions의 작업으로 구성하면, 실패한 단계만 재시도할 수 있어 전체 레코드를 처음부터 다시 처리할 필요가 없어집니다. 이는 운영 오버헤드를 최소화하면서 효율성을 극대화합니다. 다른 옵션들은 다음과 같은 이유로 적합하지 않습니다. S3 및 SNS를 사용하는 방식은 단계별 재시도 로직을 직접 구현해야 하므로 운영 오버헤드가 증가합니다. Fargate 컨테이너가 자체적으로 호출하는 방식은 상태 관리 및 재시도 로직 구현이 복잡해질 수 있습니다. Kinesis 및 Lambda를 사용하는 방식은 스트리밍 데이터 처리에 적합하지만, 순차적인 다단계 워크플로우의 상태 관리 및 재시도 로직 구현에 Step Functions만큼 효율적이지 않습니다.