한 회사에서 여러 소스에서 Apache Parquet 데이터를 수집하는 데이터 레이크를 Amazon S3에 저장합니다. 분석가가 변환된 데이터를 S3에서 액세스하기 전에 데이터에 몇 가지 변환 단계(이상 감지 필터링, 날짜/시간 값 정규화, 집계 생성)가 필요합니다. 이 회사는 데이터 lineage 및 데이터 프로파일링을 제공하고 회사 전체에서 변환 단계를 공유할 수 있는 사전 구축된 코드 없는 변환 솔루션을 원합니다. 어떤 솔루션이 이러한 요구 사항을 충족합니까?

AWS Glue DataBrew는 코드 없는 시각적 데이터 준비 도구로, 이상 감지, 날짜/시간 정규화, 집계 생성과 같은 변환을 쉽게 수행할 수 있습니다. DataBrew 레시피는 이러한 변환 단계를 재사용 가능하고 공유 가능한 형식으로 캡슐화하여 회사 전체에서 일관된 데이터 준비를 가능하게 합니다. 또한 DataBrew는 데이터 lineage 및 데이터 프로파일링 기능을 기본적으로 제공하여 요구 사항을 충족합니다. AWS Glue Studio는 시각적 ETL 도구이지만, DataBrew만큼 코드 없는 데이터 준비에 특화되어 있지 않으며 데이터 프로파일링 및 lineage 기능이 DataBrew만큼 통합되어 있지 않습니다. Amazon EMR Serverless는 대규모 데이터 처리를 위한 강력한 옵션이지만, 코드 없는 변환 솔루션이나 내장된 데이터 lineage 및 프로파일링 기능을 제공하지 않습니다. Amazon Athena는 SQL 쿼리를 사용하여 데이터를 분석하는 데 적합하지만, 코드 없는 변환 도구가 아니며 데이터 lineage 및 프로파일링 기능을 기본적으로 제공하지 않습니다.