한 소매업체가 20,000개 매장에서 구매 기록을 수집하여 Amazon Kinesis Data Firehose를 사용하여 Amazon S3로 보냅니다. 각 매장에서는 데이터를 인터넷을 통해 전송하는 소규모 서버 애플리케이션을 실행합니다. 이 데이터는 매일 기계 학습 모델을 재학습하는 데 사용됩니다. 데이터 과학 팀은 학습 전에 새 속성으로 결합해야 하는 기존 필드를 식별했습니다. 운영 오버헤드를 최소화하면서 변환된 레코드를 생성하는 변경 사항은 무엇입니까?

Kinesis Data Firehose는 수신 데이터를 변환하기 위해 AWS Lambda를 직접 호출하는 기본 제공 기능을 제공합니다. 이 접근 방식은 운영 오버헤드를 최소화하면서 실시간에 가까운 데이터 변환을 가능하게 합니다. Lambda 함수는 서버리스이므로 인프라 관리 없이 필요한 만큼만 실행됩니다. Amazon EMR은 대규모 데이터 변환에 적합하지만, 매일 클러스터를 시작하고 종료하는 것은 Lambda보다 더 많은 운영 오버헤드를 발생시킵니다. Amazon S3 File Gateway는 데이터 수집 방식 변경을 요구하며, 변환은 별도의 AWS Glue 작업으로 처리되어 복잡성을 증가시킵니다. Amazon EC2 인스턴스 플릿을 사용하는 것은 서버 관리 및 스케일링에 대한 상당한 운영 오버헤드를 초래합니다.