Amazon SOA-C02: 存储与数据管理 — 学习指南
属于 AWS SysOps Administrator Associate SOA-C02 — 学习指南. 使用经过验证的答案练习: Amazon 考试中心, 或参加限时模拟考试: ExamRoll.io.
存储与数据管理涵盖了在 AWS 中设计、操作和优化对象、块和文件存储,以满足可用性、成本和性能要求。它包括生命周期策略、加密和访问控制、备份/快照策略,以及根据访问模式选择适当的存储类别或文件系统。其运营重要性在于控制成本、确保可恢复性、满足性能 SLA,同时强制执行安全性和合规性。
S3 对象生命周期、版本控制和存储类
S3 是对象存储,提供了一系列丰富的存储类(STANDARD、INTELLIGENT_TIERING、STANDARD_IA、ONEZONE_IA、GLACIER_INSTANT_RETRIEVAL、GLACIER_FLEXIBLE_RETRIEVAL、DEEP_ARCHIVE),这些存储类针对不同的访问频率、检索延迟和弹性进行了优化。根据访问模式(频繁 vs 不频繁)、所需的检索时间和跨 AZ 的持久性来选择存储类。使用生命周期规则(通过控制台或
undefined
)来自动转换对象;转换可以基于对象的存在时间、标签或前缀。Intelligent-Tiering 消除了对未知或变化模式的猜测,但会产生监控费用;Standard-IA 存储成本更低,但有按 GB 计算的检索费和最短存储时间要求。
对于关键存储桶,必须启用版本控制(
undefined
)。启用版本控制后,您可以保留对象历史记录,从意外删除中恢复,并利用 S3 Object Lock(治理/合规模式)和 MFA Delete 来实现更严格的保护。生命周期规则可以使非当前版本过期或清理删除标记;在预生产(staging)存储桶上测试生命周期规则,以避免意外删除。对于访问控制,结合使用存储桶策略、IAM 策略和 S3 阻止公有访问;优先选择 SSE-KMS 以获得可审计性(SSE-KMS 使用 KMS CMK,并为密钥使用生成 CloudTrail 日志),或者在需要简单的服务器端加密而无需 KMS 时使用 SSE-S3。
EBS 卷、快照管理和性能
EBS 是附加到 EC2 实例的块存储,提供针对成本和性能优化的卷类型:gp3/gp2(通用型 SSD)、io1/io2(预置 IOPS SSD)、st1/sc1(吞吐量优化型 HDD / 冷 HDD)。选择 gp3 可以将 IOPS 和吞吐量与大小解耦(使用
undefined
设置 IOPS/吞吐量)。监控 CloudWatch 指标 VolumeReadOps、VolumeWriteOps、VolumeThroughput 和 VolumeQueueLength 来检测饱和;使用 EBS 优化的实例和适当的 ENA 驱动程序以获得高吞吐量/IOPS。
快照是增量的:第一个快照复制所有数据块,后续快照只存储已更改的数据块,但如果累积了大量已更改的数据块或保留了许多代快照,快照成本可能会增加。使用 Data Lifecycle Manager (DLM) 或 AWS Backup 来管理生命周期,以调度、保留和跨区域复制快照。使用
undefined
进行临时快照;通过快照使用 create-volume 进行恢复。请记住,快照是从主机的角度捕获块设备状态的——为了保证数据库的一致性,请静默文件系统(使用 fsfreeze 或应用一致性代理),或使用与备份工具集成的快照。
文件系统:EFS 和 FSx 操作
EFS 为 Linux 工作负载提供托管的 NFSv4(或 NFSv4.1/4.2),提供弹性容量、多种吞吐量模式(突发 vs 预置)以及将文件移动到 EFS Infrequent Access 的生命周期管理。为每个可用区配置挂载目标,为 NFS (TCP 2049) 配置安全组规则,并使用 KMS 启用静态加密和传输中加密 (TLS)。根据延迟和元数据吞吐量需求使用性能模式(通用型 vs 最大 I/O),并为稳定的高吞吐量工作负载预置吞吐量(
undefined
)。
FSx 提供 SMB (FSx for Windows File Server) 和 Lustre (FSx for Lustre),它们具有不同的语义:FSx for Windows 与 AD 集成以支持 SMB,并支持 Windows ACL、DFS 命名空间和备份;FSx for Lustre 针对高性能计算 (HPC),并可链接到 S3 以进行数据存储库集成。根据需要配置每日自动备份,设置吞吐能力,并选择 SSD 或 HDD。对于 Windows 客户端,使用 Active Directory 配置步骤并通过 SMB (\fsx-dns\share) 挂载;对于 Linux SMB 客户端,则使用 cifs-utils。
存储分层、生命周期策略和归档
分层通过沿生命周期移动数据来降低成本:热数据 -> 温数据 -> 冷数据 -> 归档数据。通过 S3 生命周期规则和 EFS 生命周期策略实施分层,并使用自动迁移工具(Intelligent-Tiering、EFS IA)。对于长期归档,根据检索 SLA 选择 Glacier 存储类:Instant Retrieval 用于频繁的快速访问,Flexible Retrieval 用于标准的批量恢复,Deep Archive 用于最低成本和数小时的恢复窗口。对于 EBS,使用带有跨区域副本的 Backup Vault Lock 将快照导出到与 S3 Glacier 兼容的归档中,以优化成本。
设计策略时,请考虑最短存储时间、检索和提前删除费用以及访问模式。为满足合规性要求,将 S3 Object Lock(治理/合规模式)与生命周期转换相结合,设置为仅在保留期过后才过期。定期测试恢复程序(例如,从 Glacier Flexible Retrieval/Deep Archive 执行一次恢复,以验证时间成本和操作步骤),并尽可能使用 AWS CLI 批处理脚本或 Lambda 编排来自动化恢复。
数据持久性、一致性和访问模式
持久性和一致性的选择决定了架构:S3 提供高持久性(11 个 9)以及对 PUT/DELETE 操作的写入后强一致性读取;EBS 为卷提供单可用区持久性,其快照存储在 S3 中以实现持久性,并可创建跨区域副本用于灾难恢复 (DR);EFS 为并发客户端提供强一致性。根据访问模式选择存储类型:
- 对象 (S3):最适合大规模不可变或仅追加数据、Web 资产、大型数据集、分析登陆区。
- 块 (EBS):最适合需要低延迟随机读/写和单写入者语义的操作系统和数据库。
- 文件 (EFS/FSx):最适合共享文件工作负载、主目录或需要 POSIX/ACL 语义的 Windows SMB 应用程序。
设计时应考虑读/写局部性,考虑使用缓存层(Amazon ElastiCache、用于 S3 对象的 Amazon CloudFront),并使用生命周期和分层策略来使成本与访问频率保持一致。加密静态数据和传输中数据(使用 SSE-S3/SSE-KMS 或客户端加密、使用 KMS 的 EBS 加密、EFS kms 密钥以及用于 FSx 的 SMB/SMB3 加密),并使用 IAM、存储桶策略和 VPC 端点实现私有访问,从而实施最小权限原则。
常见陷阱与决策标准
- 未对关键数据启用 S3 版本控制:启用版本控制,并可选择性地应用 S3 Object Lock 实现不可变保留;使用生命周期规则使非当前版本过期以控制成本。
- 意外的快照和存储成本:使用 DLM/AWS Backup 安排快照修剪,监控快照存储消耗量,并记住快照是增量的,但仍可能引用许多数据块——删除不需要的快照,并且只跨区域复制必要的快照。
- 为访问模式选择了错误的存储类:对未知模式使用 Intelligent-Tiering,或分析访问日志并使用生命周期规则;避免对频繁访问的对象使用 Glacier 深层归档类别。
- 假设 EBS 快照是即时的、应用程序一致的备份:静默文件系统或对数据库使用应用程序感知的备份;在支持的情况下,使用 AWS Backup 捕获应用程序一致的快照。
- 缺少加密密钥访问控制:当使用 SSE-KMS 时,确保 IAM 和 KMS 密钥策略允许预期的用户和服务访问;轮换密钥并在 CloudTrail 中监控 KMS 使用情况。
- 忽略吞吐量/IOPS 限制:按需预置 io1/io2 或 gp3 的 IOPS/吞吐量,选择合适的 EFS 性能模式,并选择 FSx 吞吐能力以避免运行时瓶颈。
实践问题:用例场景
DataCorp Analytics 公司将月末的交易转储文件存储在 S3 中,并将每晚处理的结果存储在由 EBS 支持的 EC2 实例上。他们面临着存储成本不断上升、意外覆盖以及从归档数据中恢复缓慢的问题。
- 在存储桶上启用 S3 版本控制,并为受监管的数据集设置 Object Lock 以进行保留;添加生命周期规则,将较旧的对象转换到 Intelligent-Tiering,然后在指定时间后转换到 Glacier Flexible Retrieval。
- 分析 30 天内的 S3 访问日志和 CloudWatch 指标;仅在确认访问率低之后,才将真正的冷数据对象移动到 Glacier Deep Archive。
- 为 EBS 卷实施 DLM/AWS Backup 策略,设置每周完整快照和保留策略;在创建快照前静默数据库,并将关键快照复制到另一个区域以用于灾难恢复 (DR)。
- 为未知模式的数据引入 Intelligent-Tiering,并使用成本分配标签来跟踪每个环境的成本;为意外的存储增长自动设置警报。
- 每季度通过恢复示例 Glacier 和快照数据来验证恢复流程,以确保满足恢复时间和成本预期。
基本原理:此方法将存储类和快照生命周期与观察到的访问模式相匹配,通过版本控制和经过测试的恢复来强制实现可恢复性,并使用自动化的生命周期和备份工具来控制成本,同时满足持久性和合规性需求。
练习这些题目 → · 在 ExamRoll.io 上限时练习 →
Pass the whole exam — not just this question
You found this answer. Get every verified question and explanation in one place, and save hours of prep. Free to start.
通过考试 →