10개의 Lambda 함수에 저장된 JSON 형식의 과거 로그에서 오류 메시지를 검색해야 합니다. 오류 값은 다른 필드에 나타날 수 있지만, 모든 오류 문자열은 동일한 접두사로 시작합니다. 이러한 로그 파일을 분석하는 데 가장 운영 효율적인 방법은 무엇입니까?

정답은 AWS Glue ETL 작업을 생성하여 S3의 로그 파일을 카탈로그화/인덱싱한 다음, Amazon Athena로 SQL 쿼리를 실행하여 오류를 찾는 것입니다. 이 방법은 S3에 저장된 대량의 JSON 로그 데이터를 효율적으로 분석하는 데 가장 적합합니다. AWS Glue는 스키마를 발견하고 데이터를 카탈로그화하여 Amazon Athena가 SQL 쿼리를 사용하여 데이터를 쉽게 질의할 수 있도록 합니다. 이는 운영 효율적이며 확장성이 뛰어납니다. S3 Select는 개별 파일 내에서 데이터를 필터링하는 데 유용하지만, 여러 파일에 걸쳐 복잡한 쿼리를 실행하거나 스키마를 추론하는 데는 적합하지 않습니다. CloudWatch Logs Insights는 CloudWatch Logs에 저장된 로그를 분석하는 데 사용되지만, 로그가 이미 S3에 저장되어 있으므로 이 시나리오에는 직접 적용되지 않습니다. CloudWatch Contributor Insights는 로그 데이터에서 상위 기여자를 식별하는 데 사용되지만, 특정 오류 문자열을 검색하는 데는 최적의 도구가 아닙니다.