Amazon SOA-C02: Хранение и управление данными — Руководство по подготовке
Часть AWS SysOps Administrator Associate SOA-C02 — Руководство по подготовке. Практикуйтесь с проверенными ответами в центре экзаменов Amazon, или пройдите тесты на время на ExamRoll.io.
Раздел «Хранение и управление данными» охватывает проектирование, эксплуатацию и оптимизацию объектных, блочных и файловых хранилищ в AWS для соответствия требованиям к доступности, стоимости и производительности. Он включает политики жизненного цикла, шифрование и контроль доступа, стратегии резервного копирования/создания снэпшотов, а также выбор подходящих классов хранения или файловых систем на основе шаблонов доступа. Операционная важность заключается в контроле затрат, обеспечении восстанавливаемости и соблюдении SLA по производительности при одновременном обеспечении безопасности и соответствия требованиям (compliance).
Жизненный цикл объектов S3, версионирование и классы хранения
S3 — это объектное хранилище с богатым набором классов хранения (STANDARD, INTELLIGENT_TIERING, STANDARD_IA, ONEZONE_IA, GLACIER_INSTANT_RETRIEVAL, GLACIER_FLEXIBLE_RETRIEVAL, DEEP_ARCHIVE), оптимизированных для разной частоты доступа, задержки извлечения и отказоустойчивости. Выбирайте классы в зависимости от шаблона доступа (частый или нечастый), требуемого времени извлечения и отказоустойчивости между зонами доступности (cross-AZ durability). Используйте правила жизненного цикла (в консоли или через
undefined
) для автоматического перемещения объектов; основывайте переходы на возрасте объекта, тегах или префиксе. Intelligent-Tiering избавляет от необходимости строить догадки при неизвестных или меняющихся шаблонах, но имеет плату за мониторинг; Standard-IA обеспечивает более низкую стоимость хранения, но взимает плату за извлечение каждого ГБ и имеет минимальный срок хранения.
Версионирование должно быть включено для критически важных бакетов (
undefined
). С версионированием вы можете сохранять историю объектов, восстанавливаться после случайных удалений и использовать S3 Object Lock (режимы governance/compliance) и MFA Delete для более строгой защиты. Правила жизненного цикла могут удалять неактуальные версии или очищать маркеры удаления; тестируйте правила жизненного цикла на промежуточном (staging) бакете, чтобы избежать непреднамеренных удалений. Для контроля доступа комбинируйте политики бакета, политики IAM и S3 Block Public Access; предпочитайте SSE-KMS для возможности аудита (SSE-KMS использует ключи KMS CMK и создает логи в CloudTrail об использовании ключей) или SSE-S3, когда вам нужно простое шифрование на стороне сервера без KMS.
Тома EBS, управление снэпшотами и производительность
EBS — это блочное хранилище, подключаемое к инстансам EC2, которое предоставляет типы томов, ориентированные на стоимость и производительность: gp3/gp2 (универсальные SSD), io1/io2 (SSD с подготовленными IOPS), st1/sc1 (HDD, оптимизированные по пропускной способности / холодные HDD). Выбирайте gp3, чтобы отделить IOPS и пропускную способность от размера (используйте
undefined
для установки IOPS/пропускной способности). Отслеживайте метрики CloudWatch VolumeReadOps, VolumeWriteOps, VolumeThroughput и VolumeQueueLength для обнаружения насыщения (saturation); используйте инстансы, оптимизированные для EBS, и соответствующие драйверы ENA для высокой пропускной способности/IOPS.
Снэпшоты являются инкрементальными: первый снэпшот копирует все блоки, последующие сохраняют только измененные блоки, но стоимость снэпшотов может расти, если накапливается много измененных блоков или если вы храните много поколений. Управляйте жизненным циклом с помощью Data Lifecycle Manager (DLM) или AWS Backup для планирования, хранения и копирования снэпшотов между регионами. Используйте
undefined
для создания снэпшотов по требованию; восстанавливайте с помощью create-volume из снэпшота. Помните, что снэпшоты фиксируют состояние блочного устройства с точки зрения хоста — приостанавливайте (quiesce) файловые системы (с помощью fsfreeze или агентов, обеспечивающих консистентность приложений) для обеспечения согласованности баз данных или используйте снэпшоты, интегрированные с инструментами резервного копирования.
Файловые системы: операции с EFS и FSx
EFS предоставляет управляемую файловую систему NFSv4 (или NFSv4.1/4.2) для Linux-нагрузок, предлагая эластичную емкость, несколько режимов пропускной способности (bursting и provisioned) и управление жизненным циклом для перемещения файлов в EFS Infrequent Access. Настраивайте точки монтирования (mount targets) в каждой зоне доступности, правила групп безопасности для NFS (TCP 2049) и включайте шифрование неактивных данных (at rest) с помощью KMS и шифрование при передаче (in transit) с помощью TLS. Используйте режимы производительности (General Purpose или Max I/O) в зависимости от требований к задержке и пропускной способности метаданных, и выделяйте пропускную способность для стабильно высоких нагрузок (
undefined
).
FSx предлагает SMB (FSx for Windows File Server) и Lustre (FSx for Lustre) с разной семантикой: FSx for Windows интегрируется с AD для SMB и поддерживает Windows ACL, DFS Namespaces и резервное копирование; FSx for Lustre предназначен для высокопроизводительных вычислений (HPC) и может связываться с S3 для интеграции с репозиторием данных. Настраивайте ежедневное автоматическое резервное копирование, устанавливайте пропускную способность и выбирайте SSD или HDD по мере необходимости. Выполните шаги по настройке Active Directory и монтируйте через SMB (\fsx-dns\share) для Windows-клиентов или Linux SMB-клиентов с помощью cifs-utils.
Распределение по уровням хранения (tiering), политики жизненного цикла и архивирование
Распределение по уровням (tiering) снижает затраты за счет перемещения данных в течение их жизненного цикла: горячие -> теплые -> холодные -> архивные. Реализуйте tiering с помощью правил жизненного цикла S3 и политик жизненного цикла EFS, а также используйте инструменты автоматической миграции (Intelligent-Tiering, EFS IA). Для долгосрочного архивирования выбирайте классы Glacier в зависимости от SLA на извлечение: Instant Retrieval для частого быстрого доступа, Flexible Retrieval для стандартных массовых восстановлений, Deep Archive для наименьшей стоимости и окон восстановления в несколько часов. Для EBS экспортируйте снэпшоты в архив, совместимый с S3 Glacier, используя Backup Vault Lock с межрегиональными копиями для оптимизации затрат.
При разработке политик учитывайте минимальные сроки хранения, плату за извлечение и досрочное удаление, а также шаблоны доступа. Для соответствия требованиям (compliance) комбинируйте S3 Object Lock (режимы governance/compliance) с переходами жизненного цикла, настроенными на истечение срока действия только после окончания периода хранения. Периодически тестируйте процедуры восстановления (выполняйте восстановление из Glacier Flexible Retrieval/Deep Archive для проверки соотношения времени и затрат, а также операционных шагов) и по возможности автоматизируйте восстановление с помощью пакетных скриптов AWS CLI или оркестрации через Lambda.
Надёжность, согласованность данных и шаблоны доступа
Выбор надёжности и согласованности определяет архитектуру: S3 предлагает высокую надёжность (11 девяток) и строгую согласованность при чтении после записи для операций PUT/DELETE; EBS обеспечивает надёжность в пределах одной зоны доступности (AZ) для томов, при этом снимки хранятся в S3 для повышения надёжности, а межрегиональные копии — для аварийного восстановления (DR); EFS предлагает строгую согласованность для одновременных клиентов. Выбирайте тип хранилища в зависимости от шаблона доступа:
- Объектное (S3): лучше всего подходит для крупномасштабных неизменяемых или предназначенных только для добавления данных, веб-ресурсов, больших наборов данных, зон для загрузки данных аналитики.
- Блочное (EBS): лучше всего подходит для ОС и баз данных, требующих случайного чтения/записи с низкой задержкой и семантики единственного автора.
- Файловое (EFS/FSx): лучше всего подходит для общих файловых нагрузок, домашних каталогов или приложений Windows SMB, требующих семантики POSIX/ACL.
Проектируйте с учётом локальности чтения/записи, рассматривайте возможность использования уровней кэширования (Amazon ElastiCache, Amazon CloudFront для объектов S3) и используйте жизненный цикл и распределение по уровням, чтобы согласовать затраты с частотой доступа. Шифруйте данные при хранении и передаче (SSE-S3/SSE-KMS или на стороне клиента, шифрование EBS с помощью KMS, ключи KMS для EFS и шифрование SMB/SMB3 для FSx) и применяйте принцип наименьших привилегий с помощью IAM, политик бакетов и эндпоинтов VPC для приватного доступа.
Распространённые ошибки и критерии принятия решений
- Отсутствие версионирования S3 для критически важных данных: включите версионирование и опционально примените S3 Object Lock для неизменяемого хранения; используйте правила жизненного цикла для удаления неактуальных версий с целью контроля затрат.
- Неожиданные затраты на снимки и хранилище: планируйте очистку снимков с помощью DLM/AWS Backup, отслеживайте потребление хранилища снимками и помните, что снимки являются инкрементальными, но всё равно могут ссылаться на множество блоков — удаляйте ненужные снимки и копируйте между регионами только необходимые.
- Выбор неправильного класса хранения для шаблонов доступа: используйте Intelligent-Tiering для неизвестных шаблонов или анализируйте журналы доступа и применяйте правила жизненного цикла; избегайте глубоких классов Glacier для часто используемых объектов.
- Предположение, что снимки EBS являются мгновенными и согласованными на уровне приложения резервными копиями: приостанавливайте файловые системы (quiesce) или используйте резервные копии с учётом состояния приложения для баз данных; используйте AWS Backup для создания согласованных на уровне приложения снимков, где это поддерживается.
- Отсутствие контроля доступа к ключам шифрования: при использовании SSE-KMS убедитесь, что политики IAM и ключей KMS разрешают доступ предполагаемым пользователям и сервисам; ротируйте ключи и отслеживайте использование KMS в CloudTrail.
- Игнорирование ограничений пропускной способности/IOPS: выделяйте IOPS/пропускную способность для io1/io2 или gp3 по мере необходимости, выбирайте соответствующий режим производительности EFS и пропускную способность FSx, чтобы избежать узких мест во время выполнения.
Практическая задача: Пример использования
DataCorp Analytics хранит дампы транзакций на конец месяца в S3, а результаты ночной обработки — на инстансах EC2 с томами EBS. Они сталкиваются с ростом затрат на хранение, случайными перезаписями данных и медленным восстановлением из архивов.
- Включить версионирование S3 для бакета и установить Object Lock для хранения регулируемых наборов данных; добавить правила жизненного цикла для перемещения старых объектов в Intelligent-Tiering, а затем, по достижении определённого возраста, в Glacier Flexible Retrieval.
- Проанализировать журналы доступа S3 и метрики CloudWatch за 30-дневный период; перемещать действительно «холодные» объекты в Glacier Deep Archive только после подтверждения низкой частоты доступа.
- Внедрить политики DLM/AWS Backup для томов EBS с еженедельными полными снимками и политикой хранения; приостанавливать работу баз данных перед созданием снимков и копировать критически важные снимки в другой регион для аварийного восстановления (DR).
- Внедрить Intelligent-Tiering для данных с неизвестным шаблоном доступа и использовать теги распределения затрат для отслеживания расходов по средам; автоматизировать оповещения о неожиданном росте объёма хранилища.
- Ежеквартально проверять процедуры восстановления, восстанавливая образцы данных из Glacier и снимков, чтобы убедиться в соблюдении ожидаемого времени восстановления и затрат.
Обоснование: Этот подход сопоставляет класс хранения и жизненный цикл снимков с наблюдаемыми шаблонами доступа, обеспечивает восстанавливаемость с помощью версионирования и проверенных процедур восстановления, а также использует автоматизированные инструменты жизненного цикла и резервного копирования для контроля затрат при соблюдении требований к надёжности и соответствию.
← Сетевые технологии и доставка контента · Все домены · Вычислительные ресурсы и автоматическое масштабирование →
Отработать эти вопросы → · Тесты на время на ExamRoll.io →
Pass the whole exam — not just this question
You found this answer. Get every verified question and explanation in one place, and save hours of prep. Free to start.
Сдайте экзамен →