Amazon DEA-C01: 데이터 파이프라인 모니터링 및 문제 해결 — 학습 가이드

By Laurynas Brazys · 2 August 2026 · #amazon #dea-c01 #certification #exam-prep #study-guide

다음의 일부입니다: Amazon Data Engineer Associate DEA-C01 — 학습 가이드. 검증된 답안으로 연습하기: Amazon 시험 허브, 또는 다음에서 시간 제한 모의고사 풀기: ExamRoll.io.

AWS 전반에서 스트리밍 및 배치 데이터의 시기적절하고 정확한 전달을 보장하려면 데이터 파이프라인 모니터링 및 문제 해결이 매우 중요합니다. 이 영역은 Kinesis, Firehose, Glue, DMS, Lambda와 같은 서비스와 인시던트 조사를 지원하는 AWS 감사 추적에 대한 원격 측정, 경보 및 진단 기법을 다룹니다. 효과적인 모니터링은 소비자 지연, 작업 리소스 압박, 전송 지연, 무단 액세스를 노출하여 평균 탐지/복구 시간(Mean Time To Detect/Recover)을 줄입니다. 다음 섹션에서는 프로덕션 데이터 흐름을 운영하고 복구하기 위한 구체적인 신호, CLI/콘솔 패턴, 의사결정 기준을 제공합니다.

데이터 서비스를 위한 CloudWatch 지표 및 경보

CloudWatch는 기본 원격 측정 영역입니다. 주요 서비스 지표에 대한 지표 필터, 대시보드, 경보를 생성하고 자동화된 해결을 위해 경보를 SNS, EventBridge 또는 Systems Manager와 통합하세요. aws cloudwatch put-metric-alarm을 사용하여 프로그래밍 방식으로 경보를 생성합니다. 일반적인 플래그에는 --metric-name, --namespace, --statistic(또는 --extended-stat), --threshold, --evaluation-periods, --comparison-operator가 포함됩니다. 대시보드의 경우, “MyCompany/DataPipeline"과 같은 네임스페이스와 함께 aws cloudwatch put-metric-data를 사용하여 사용자 지정 지표(예: Glue 작업 메타데이터)를 푸시합니다.

다음과 같은 실행 가능한 지표와 패턴에 집중하세요.

Glue: BytesRead, BytesWritten, RecordsProcessed, DPUHrs를 모니터링하여 데이터 볼륨 변경, 스큐, 비용을 탐지합니다. 경보: RecordsProcessed의 급격한 감소 또는 레코드당 DPUHrs의 급증.
Kinesis: GetRecords.IteratorAgeMilliseconds를 모니터링하여 소비자 지연을, IncomingBytes/IncomingRecords를 모니터링하여 소스 압박을 확인합니다.
Firehose: DeliveryToS3.DataFreshness와 DeliveryToS3.Records를 모니터링하여 전송 지연 및 데이터 손실을 파악합니다.
DMS: FullLoadRows, CDCLatencyMilliseconds, AppliedChanges를 모니터링하여 복제 상태를 확인합니다.

경보 설정 시 의사결정 기준:

복합 경보(CloudWatch composite alarms)를 사용하여 노이즈를 줄입니다. 예: 3개의 데이터포인트에 대해 IteratorAgeMilliseconds > X AND 소비자 오류율 > Y를 결합합니다.
임계값 선택을 위해 7~14일간의 과거 데이터에서 기준선을 도출하고, 워크로드가 계절적일 경우 이상 탐지 모델(PutAnomalyDetector)을 사용하여 동적 임계값을 설정합니다.

Glue 작업 모니터링 및 오류 처리

Glue는 CloudWatch로 지표를 전송하고 /aws-glue/jobs/output(작업 실행 로그) 및 /aws-glue/jobs/error(오류)에 로그를 기록합니다. CloudWatch Logs Insights를 사용하여 작업 실행을 쿼리하세요. 콘솔을 통해 쿼리를 실행하거나 aws logs start-query와 fields @timestamp, @message | filter @message like /ERROR/ | sort @timestamp desc | limit 20 같은 쿼리 문자열을 사용합니다. Glue 작업 실행 지표에서 BytesRead, BytesWritten, RecordsProcessed, DPUHrs를 추적하세요. DPUHrs는 비용 및 작업 병렬성과 직접적인 상관관계가 있습니다.

일반적인 Glue 장애 모드 및 해결 방법:

OutOfMemory(OOM) 또는 Executor 손실: 워커 유형/DPU 수를 늘리거나, 메모리 사용량이 많은 경우 G.2X 워커 유형으로 전환하거나, Spark 파티셔닝(repartition/coalesce)을 최적화하고 푸시다운 조건자를 사용하여 입력 볼륨을 줄입니다.
데이터 스큐로 인한 스트래글러(straggler) 발생: 파티션 키를 사용하여 리밸런싱하거나, 병렬성을 높이거나, 적절한 경우 Glue DynamicFrame의 split/resolve 선택을 사용합니다.
작업 지연 또는 긴 시작 시간: 작업 북마크를 활성화하고 Glue JobMetrics에서 “TimeWaitingForResources"를 모니터링하여 용량 경합을 식별합니다.

의사결정 트레이드오프:

CPU/메모리가 병목 현상을 일으키고 런타임 예측 가능성이 중요한 경우 DPU를 늘립니다. 비용을 제어해야 하는 경우 코드 최적화(파티셔닝, 필요할 때만 캐싱)를 선호합니다.
거의 실시간에 가까운 변환에는 Glue 스트리밍을 사용하고, 복잡한 Spark 변환 및 더 큰 스팟 인스턴스 친화적인 워크로드에는 Glue ETL 배치를 사용합니다.

Kinesis 및 Firehose 모니터링

Kinesis 소비자 지연: GetRecords.IteratorAgeMilliseconds에 의존하여 소비자가 얼마나 뒤처져 있는지 탐지합니다. GetRecords.IteratorAgeMilliseconds가 지속적으로 높을 경우:

샤드 수를 늘려 스케일링하거나(리샤딩/스케일링),
배치 처리, 향상된 팬아웃(소비자당 최대 2MB/sec 처리량) 또는 개선된 체크포인팅 기능이 있는 Kinesis 클라이언트 라이브러리(KCL) v2를 사용하여 소비자 성능을 개선합니다.

aws kinesis describe-stream을 사용하여 샤드 수를 검사하고, aws cloudwatch get-metric-statistics를 사용하여 GetRecords.IteratorAgeMilliseconds를 확인합니다. 해결 옵션을 비교할 때 다음을 고려하세요.

샤드 추가: 수집 및 읽기 처리량을 증가시키지만, 리샤딩 및 리밸런싱이 필요합니다.
향상된 팬아웃: 공유 읽기 처리량 문제를 피하지만 소비자당 비용이 증가합니다.
소비자 최적화: 추가 샤드 및 비용의 필요성을 줄이지만 엔지니어링 노력이 필요합니다.

Firehose 전송 지표: DeliveryToS3.DataFreshness는 전송 지연을 정량화합니다. 일반적인 버퍼링 지연 설정은 60~900초이며, bufferSize 또는 bufferInterval에 도달할 때까지 레코드를 보관합니다. DeliveryToS3.DataFreshness가 높을 경우:

콘솔 또는 aws firehose describe-delivery-stream을 통해 Firehose 버퍼 힌트(BufferIntervalInSeconds, BufferSizeInMBs)를 확인합니다.
CloudWatch 오류(DeliveryToS3.RecordsFailed) 및 S3 버킷 권한(암호화된 경우 KMS 오류)을 검사합니다.

Firehose 버퍼링 의미 체계를 기억하세요. 서비스는 의도적으로 버퍼 간격까지 지연을 발생시킵니다. 버퍼 간격을 줄이면 지연 시간이 짧아지지만 S3 쓰기 빈도가 높아져 비용이 발생합니다.

CloudTrail과 데이터 액세스 감사

CloudTrail은 API 활동을 제공하며, 선택적으로 S3 및 Lambda에 대한 데이터 이벤트를 제공합니다. 이 데이터 이벤트는 기본적으로 활성화되어 있지 않습니다. 객체 수준 S3 이벤트를 캡처하려면, 콘솔 또는

undefined

를 통해 CloudTrail에서 데이터 이벤트를 명시적으로 활성화하고 S3 데이터 리소스를 추가해야 합니다. S3 데이터 이벤트를 활성화하지 않으면 CloudTrail에서 GetObject/PutObject를 볼 수 없으며, 이는 조사 중에 흔히 발생하는 공백입니다.

CloudTrail 로그를 CloudWatch Logs Insights와 함께 사용하여 운영 지표(예: Glue 작업 로그)와 액세스 이벤트를 상호 연관시킵니다. 쿼리 패턴:

CloudWatch Logs Insights:

undefined

EventBridge 규칙을 사용하여 특정 API 호출(예: PutBucketAcl)에 반응하고 빠른 알림을 위해 SNS로 전달합니다.

DMS 복제 작업 또한 CloudWatch 지표를 게시합니다: 초기 복사 완료 여부를 확인하기 위해 FullLoadRows를, 복제 지연을 감지하기 위해 CDCLatencyMilliseconds를, 그리고 대상에 트랜잭션이 적용되고 있는지 확인하기 위해 AppliedChanges를 모니터링합니다. CDCLatencyMilliseconds가 비즈니스 SLA를 초과하거나 전체 로드 행이 증가한 후 AppliedChanges가 낮을 때 경보를 설정합니다.

일반적인 함정과 의사결정 기준

Kinesis의 높은 IteratorAgeMilliseconds를 소스 문제로 오인하는 경우 — 올바른 접근 방식: 컨슈머 체크포인팅 및 처리 시간을 확인하고, 컨슈머 CPU/IO를 프로파일링한 후에만 샤드를 추가하여 스케일링하거나 향상된 팬아웃을 사용합니다.
Glue 작업 OOM 오류를 무작정 DPU를 늘려 처리하는 경우 — 올바른 접근 방식: Spark 스테이지를 프로파일링하고, 파티셔닝 및 데이터 필터링을 최적화합니다. 리소스 한계가 확인된 경우에만 DPU 또는 워커 유형을 늘립니다.
Firehose 버퍼링 지연으로 인한 데이터 손실 인식 — 올바른 접근 방식: BufferIntervalInSeconds 및 BufferSizeInMBs를 확인합니다. 낮은 지연 시간이 필요한 경우 간격을 줄이고, 더 높은 쓰기 속도/비용을 감수합니다.
CloudTrail이 기본적으로 S3 객체 읽기를 기록한다고 가정하는 경우 — 올바른 접근 방식: 포렌식 감사를 위해 GetObject/PutObject를 캡처하도록 CloudTrail에서 S3 데이터 이벤트를 활성화합니다.
DMS CDC 지연 경보 누락 — 올바른 접근 방식: CDCLatencyMilliseconds에 대한 CloudWatch 경보를 생성하고 AppliedChanges와 FullLoadRows를 비교합니다. 지연이 증가할 때 네트워크 또는 트랜잭션 백로그를 조사합니다.
일시적인 스파이크에 대한 과도한 경보 — 올바른 접근 방식: 평가 기간, 경보 발생에 필요한 데이터 포인트 수 또는 이상 탐지를 사용하여 노이즈를 줄이고, 상호 연관된 조건에 대해 복합 경보를 사용합니다.

실용적인 문제: 사용 사례 시나리오

Acme Analytics는 Kinesis를 통해 실시간 클릭스트림을 수집하고, Glue ETL 작업을 사용하여 이벤트를 보강하며, Firehose를 통해 오래된 배치를 S3에 저장하고, DMS로 레거시 DB를 복제합니다. 그들은 Kinesis의 컨슈머 지연, Glue 작업의 OOM, 그리고 Firehose의 높은 DeliveryToS3.DataFreshness와 같은 종단 간 지연을 관찰하고 있습니다.

Kinesis 컨슈머 프로파일링: GetRecords.IteratorAgeMilliseconds 지표를 가져오고, 컨슈머 로그를 검사하며, Kinesis 향상된 팬아웃과 샤드 스케일링 간의 비용 분석을 실행합니다.
Glue 작업의 CloudWatch 지표와 Logs Insights에서 OOM 스택 트레이스를 검사합니다. 로컬 또는 더 작은 작업에서 재파티셔닝 + 푸시다운 조건자를 테스트합니다. 필요한 경우에만 DPU/워커 유형을 늘립니다.
Firehose 버퍼 설정(BufferIntervalInSeconds)과 DeliveryToS3.DataFreshness를 검사합니다. 중요한 SLO를 위해 버퍼 간격을 줄이고 S3 쓰기 권한/KMS를 확인합니다.
IteratorAgeMilliseconds, Glue 작업 오류율, Firehose DataFreshness를 결합한 CloudWatch 복합 경보를 구성합니다. 대기 중인 담당자(on-call) SNS 주제로 경보를 전달하고 EventBridge를 통해 런북을 트리거합니다.
CloudTrail S3 데이터 이벤트를 활성화하고 GetObject/PutObject 이벤트를 Glue 작업 시작 시간 및 DMS applied changes와 상호 연관시켜 무단 또는 지연된 액세스를 탐지합니다.

이 접근 방식은 AWS 모범 사례를 따릅니다: 올바른 서비스 지표를 적절한 세분성으로 모니터링하고, 리소스를 확장하기 전에 대상 코드 및 구성 수정을 선호하며, 빠른 근본 원인 분석 및 자동화된 해결을 가능하게 하기 위해 감사 수준 로깅이 명시적으로 활성화되었는지 확인합니다.

← 데이터 보안 · 모든 도메인 · 데이터 워크로드 비용 최적화 →

이 문제 연습하기 → · ExamRoll.io에서 시간 제한 연습 →