Amazon AIF-C01: MLOpsとデプロイ — 学習ガイド

By Laurynas Brazys · 31 July 2026 · #amazon #aif-c01 #certification #exam-prep #study-guide

こちらの一部です： AWS AI Practitioner AIF-C01 — 学習ガイド. 検証済みの解答で練習： Amazon試験ハブ, または時間制限付き模擬試験に挑戦： ExamRoll.io.

デプロイと推論のパターン: リアルタイム、バッチ、サーバーレス、エッジ

推論パターンを選択するには、まずレイテンシー、スループット、コスト、運用上の複雑さといったサービスレベルのトレードオフを検討します。低レイテンシー、高スループットが求められる場合は、プロビジョニングされた Amazon SageMaker リアルタイムエンドポイント (シングルモデルまたはマルチモデルエンドポイント) や、オートスケーリングと GPU インスタンスを備えた SageMaker Real-Time Inference が一般的です。エンドポイントのバリアントを使用して、カナリアまたはブルー/グリーン方式のロールアウトを実装します。レイテンシーが重要でない大規模なオフラインジョブには、SageMaker Batch Transform や AWS Glue/EMR での分散処理が、コスト効率が高くスケーリングも容易です。予測不能または低 QPS のワークロードには、SageMaker Serverless Inference や AWS Lambda からのモデル呼び出し (必要に応じてプロビジョニングされた同時実行を使用) が、管理オーバーヘッドとコストを削減します。エッジデプロイメントでは、SageMaker Edge Manager でモデルをパッケージ化し、AWS IoT Greengrass を介して、断続的な接続性や厳格なレイテンシー/プライバシー要件を持つデバイスに配布する必要があります。実務者が陥りやすい罠には、疎なトラフィックに対してリアルタイムエンドポイントを選択してしまう (高コストにつながる)、サーバーレスデプロイメントのコールドスタートをテストしない、マルチモデルエンドポイントのメモリ/GPU 要件を過小評価するなどがあります。意思決定は、SLO (p99 レイテンシー、スループット)、モデルサイズ、同時実行パターン、予想される更新頻度に基づいて行うべきです。ホスティングパターンを決定する前に、代表的なトラフィックでプロファイリングすることが不可欠です。

再現可能なデリバリーのためのモデルレジストリ、パイプライン、CI/CD

堅牢な本番ワークフローでは、SageMaker Model Registry を使用してアーティファクトをバージョニングし、モデルの系統をキャプチャし、承認ワークフローを管理します。また、SageMaker Pipelines を使用して、再現可能なトレーニング、検証、デプロイのステップを構成します。Git ベースのソース管理を AWS CodePipeline および CodeBuild と統合することで、モデルコードの CI (単体テスト、データスキーマチェック、レジストリへの昇格を制御する自動モデル評価) が可能になります。デプロイの自動化では、ステージングされた環境 (開発 → ステージング → 本番) を実装し、エンドポイントのバリアント、ブルー/グリーンデプロイメント、または Lambda ベースのルーティングによる自動ロールバックやトラフィックシフトをサポートすべきです。特徴量ストア (SageMaker Feature Store) は、特徴量の定義とタイムスタンプを保存することで、トレーニングと推論の一貫性を保証します。よくある罠には、ハイパーパラメータと環境のバージョンを記録し忘れる、検証テスト (データスキーマ、パフォーマンスのしきい値) を自動化しない、イミュータブルなアーティファクトがない (モデルアーティファクトを S3 や ECR に保存する) などがあります。エンドポイントの設定には Infrastructure as Code (CloudFormation または CDK) を使用し、ライブラリとシードを固定して再現性を確保し、同じパイプラインに統合された再トレーニングのトリガー (データドリフト、定期的スケジュール) を計画します。

モニタリング、Model Monitor、および運用管理

運用モニタリングでは、データドリフト、コンセプトドリフト、パフォーマンスの低下、レイテンシー、リソース使用率をカバーする必要があります。Amazon SageMaker Model Monitor は、トレーニングデータの分布をベースライン化し、推論トラフィックを継続的にプロファイリングして、特徴量のドリフト、欠損値、スキーマの変更を検出できます。グラウンドトゥルース (正解データ) が利用可能な場合、Model Monitor は予測品質とターゲットドリフトも追跡できます。推論ログを Amazon S3 と CloudWatch に記録し、そのログを Amazon Kinesis または Amazon EventBridge にストリーミングして、リアルタイムのアラートや自動化されたパイプラインのトリガーに利用します。すべてのドリフトアラートを再トレーニングのシグナルとして扱う (一時的な変動や季節性が偽陽性を引き起こす可能性がある)、自然なばらつきを理解せずにしきい値を設定する、といったよくある間違いは避けてください。不均衡なクラスに対しては、意味のある劣化を検出するために、精度 (Accuracy) よりも適合率 (Precision)、再現率 (Recall)、F1 スコアを優先します。モデルアーティファクトには RBAC と暗号化 (KMS) を実装し、安全なサービスアクセスには VPC エンドポイントと AWS PrivateLink を使用し、AWS CloudTrail を介して監査証跡をキャプチャします。修正のための運用プレイブックを整備しましょう。具体的には、データパイプラインの検証、最近のコホートパフォーマンスの比較、そして再トレーニング、ロールバック、またはキャリブレーションと特徴量の修正の適用などです。

主要な評価指標とその使用場面
- Accuracy: 全体的な正解率。不均衡データでは誤解を招く可能性がある
- Precision: 正と予測したもののうち、実際に正であったものの割合。偽陽性のコストが高い場合に使用
- Recall (Sensitivity): 実際に正であるもののうち、正と予測できたものの割合。偽陰性のコストが高い場合に使用
- F1 score: 適合率と再現率の調和平均。不均衡クラスに対してバランスの取れた選択肢
- AUC-ROC: しきい値全体にわたるランキング品質。しきい値に依存しない二値分類器に有用

説明可能性、モデルカード、コンプライアンス対応の統制

説明可能性は、運用可能で、監査可能であり、ステークホルダーのニーズに合わせて調整されている必要があります。Amazon SageMaker Clarifyは、トレーニング前のバイアスチェック、トレーニング後のバイアスメトリクス、および推論時やオフラインバッチで生成可能なSHAPによる予測ごとの特徴量アトリビューションを提供します。ランタイムの説明は、トレーサビリティを提供するために、予測や入力フィンガープリントと共にログに記録する必要があります。説明はS3に保存し、検索のためにインデックスを作成します。モデルカードには、使用目的、データの来歴、関連するスライスでの評価メトリクス、既知の制限、パフォーマンスに関する注意事項を文書化します。ガバナンス要件を満たすため、モデルカードのバージョンをModel Registry内で維持します。金融や規制対象のユースケースでは、決定論的な監査証跡が必要です。モデルアーティファクト、ハイパーパラメータ、評価データ、説明ログを保存します。影響の大きい決定に対しては人間参加型の承認ゲートを実装し、困難なケースについては反事実的な説明を維持します。マネージド基盤モデルとのセキュアな統合のために、AWS PrivateLinkインターフェースエンドポイントを使用してVPC内からAmazon Bedrockを呼び出し、KMSでペイロードを暗号化し、きめ細かなIAMおよびネットワーク制御を適用します。埋め込みストレージとベクトル検索のためのサービス選択は、検索ニーズに依存します。パフォーマンスと運用コストによって選択肢を比較します。

Amazon OpenSearch Service (k-NN): 統合された分析機能を備えたスケーラブルなベクトル検索
Amazon Kendra: 組み込みコネクタとエンタープライズ機能を備えたマネージドセマンティック検索
Amazon RDS (Postgres + pgvector): トランザクション対応のベクトルストレージ、リレーショナルデータセットに対してよりシンプル
Amazon EKSまたはECS上のカスタムANN: NMSLIB/FAISSに対して最高の柔軟性を提供するが、運用負荷は大きい

実践的な問題: ユースケースシナリオ

シナリオ: FinSight社は、モデルトレーニングにSageMaker、補助的な生成的説明にBedrock、データ用にAmazon S3を使用して、AWSで与信判断パイプラインを運用しています。モデルはVPC内のSageMakerリアルタイムエンドポイントとしてデプロイされ、Model Monitorが有効化されて入力される特徴量をプロファイリングしています。

課題: Model Monitorがしきい値を超える特徴量ドリフトを検知し、ビジネス上の規制により、自動化された与信限度額の変更には監査可能で説明可能な決定が求められています。

推奨アプローチ:

SageMaker Model MonitorのアラートをトリガーとしてEventBridgeルールを起動し、ドリフトデータをSageMaker Pipelinesの再トレーニングワークフローに送信し、現在の推論データと最近の入力データをS3の隔離バケットにスナップショットとして保存します。
SageMaker Pipelines内で自動検証ジョブを実行し、最近のデータ分布をベースラインと比較し、評価メトリクス（適合率/再現率/F1スコア）を計算し、代表的なコーホートに対してSageMaker ClarifyでサンプルごとのSHAP説明を生成します。
自動チェックに合格した場合、パフォーマンススライスと説明を記録した更新済みのモデルカードと共に、新しいモデルをSageMaker Model Registryに登録します。段階的なロールアウトには、エンドポイントバリアントとトラフィックシフトを使用します。チェックに失敗した場合は、運用キューにインシデントを作成し、ロールアウト前に人間によるレビュープロセスを呼び出します。
人間が読める説明を生成するセキュアなBedrock呼び出しのために、BedrockトラフィックをAWS PrivateLink経由でルーティングし、ペイロードをKMSで暗号化します。すべての説明出力をS3に記録し、監査可能性のために推論レコードにリンクさせます。

根拠: このアプローチは、自動検出、再現可能な検証、およびガードレール付きのデプロイを、監査証跡と決定ごとの説明と組み合わせることで、運用上の統制を規制の透明性と整合させ、誤った再トレーニングやロールバックのアクションを最小限に抑えます。

← モデルの学習、評価、最適化 · すべてのドメイン · AI →

これらの問題を練習する → · ExamRoll.ioで時間制限付き練習 →