원격 사이트(Direct Connect 또는 VPN 없음)로부터 디바이스 데이터를 수신하는 실시간 예측 유지보수 파이프라인을 구축해야 합니다. 이 파이프라인은 다음을 수행해야 합니다. 데이터를 실시간으로 Amazon S3로 수집하고, 수집 중에 들어오는 원시 레코드를 정리된 CSV로 변환하고, 원본 원시 레코드를 S3에 저장하고, 변환에 실패한 레코드를 사람의 검토를 위해 지정된 S3 위치에 배치해야 합니다. 이러한 요구 사항을 충족하는 데 가장 적은 노력이 필요한 아키텍처는 무엇입니까?

이 아키텍처는 모든 요구 사항을 충족하며 가장 적은 노력이 필요합니다. Kinesis Data Firehose는 S3로의 실시간 데이터 수집을 처리하고, Lambda 함수를 사용하여 수집 중 데이터를 정리된 CSV로 변환할 수 있습니다. Firehose의 원본 레코드 백업 기능을 활성화하면 원시 레코드가 S3에 저장됩니다. 또한 Firehose는 변환에 실패한 레코드를 지정된 S3 오류 버킷에 자동으로 배치하여 사람의 검토를 용이하게 합니다. MSK는 추가적인 관리 오버헤드를 필요로 하고, ECS 워커 태스크는 직접 개발해야 하므로 더 많은 노력이 필요합니다. Firehose가 AWS Glue 작업을 호출하는 옵션은 Firehose의 기본 기능이 아니며, Glue 작업은 실시간 변환에 적합하지 않을 수 있습니다. Kinesis Data Streams를 Firehose 앞에 두는 것은 불필요하게 복잡하며, Lambda 함수를 두 번 호출하게 되어 비용과 복잡성이 증가합니다.