Amazon AIF-C01: モデルの学習、評価、最適化 — 学習ガイド

By Laurynas Brazys · 31 July 2026 · #amazon #aif-c01 #certification #exam-prep #study-guide

こちらの一部です： AWS AI Practitioner AIF-C01 — 学習ガイド. 検証済みの解答で練習： Amazon試験ハブ, または時間制限付き模擬試験に挑戦： ExamRoll.io.

トレーニング戦略とデータアーキテクチャ

トレーニング戦略の設計は、スクラッチからトレーニングするか、事前トレーニング済みモデルをファインチューニングするか、フューショット/プロンプティング技術を適用するかを決定することから始まります。ラベル付きデータセットが小さい場合、事前トレーニング済みモデル（Amazon BedrockまたはSageMaker JumpStartモデル）での転移学習は、収束を加速し、汎化性能を向上させます。一方、大規模なドメイン固有のコーパスの場合、分散インスタンス（HorovodまたはSageMakerが管理する分散トレーニング）を使用したSageMaker Trainingでのフルトレーニングが妥当な場合があります。データアーキテクチャは重要です。生データと処理済みデータはAmazon S3に保存し、特徴量はAmazon SageMaker Feature Storeでキュレートし、AWS GlueまたはSageMaker Processingで変換し、Amazon SageMaker Ground Truthでラベリングします。機密データでファインチューニングを行う際は、VPCエンドポイント、KMS暗号化、およびプライベートなBedrockコネクタを使用して、セキュリティとプライバシーを確保します。よくある落とし穴には、未来の情報からのラベルリーケージ、時系列問題における時間ベースのリーケージ、メトリクスにバイアスをかける不均衡サンプリングなどがあります。意思決定の基準では、データセットのサイズ、ラベルの品質、レイテンシーとコストの制約、および規制要件を考慮する必要があります。コスト削減のためにスポットトレーニングを選択しますが、再現性とチェックポインティングを検証してください。SageMaker Experimentsを使用して実行を追跡し、Model Registryを使用してアーティファクトをバージョニングすることで、再現可能な比較と安全なロールバックを可能にします。

評価と検証のメトリクス

メトリクスの選択は、使い慣れているかどうかではなく、ビジネス目標に基づいて行う必要があります。分類問題では、偽陽性のコストが高い場合（不正検知アラートなど）は適合率を優先し、陽性を見逃すことが危険な場合（疾患のスクリーニングなど）は再現率を優先します。情報検索や要約では、ROUGEとBLEUがn-gramの重複率や流暢さを捉えますが、コンプライアンスが重要な回答には、人手による評価や事実性メトリクスが必要です。堅牢な検証戦略を使用します。層化k分割交差検証や時系列を考慮した分割、専用のホールドアウトテストセット、そして実際のトラフィック下で本番性能を検証するためのシャドウまたはカナリアデプロイメントなどです。モデルのキャリブレーションとしきい値の選択には、多くの場合、適合率-再現率曲線やROC-AUC分析、およびトレーニング後のキャリブレーション手法が必要です。技術的なメトリクスと並行して、ビジネス指向のメトリクス（コストで重み付けされたエラー、顧客チャーンの改善率など）も考慮します。実務者が陥りやすい罠には、不均衡クラスに対して正解率に過度に依存することや、事実の一貫性が重要な場合に自然言語生成（NLG）をBLEU/ROUGEのみで評価することなどがあります。参照すべきメトリクスの定義：

Accuracy: 正しい予測の割合。
Precision: 陽性と予測されたものの中で、実際に真の陽性であったものの割合。
Recall: 実際の陽性の中で、陽性と予測されたものの割合。
F1 score: 適合率と再現率の調和平均。
ROC AUC: 受信者操作特性（ROC）曲線の下の面積。
BLEU: 翻訳のようなタスク向けの、適合率ベースのn-gram重複メトリクス。
ROUGE: 要約向けの、再現率指向のn-gram重複メトリクス。

過学習、未学習、ドリフト、説明可能性

過学習はモデルがトレーニングデータのノイズを記憶してしまう場合に発生し、未学習はモデルがシグナルを捉えきれない場合に発生します。緩和策には、早期停止、正則化（L1/L2）、ニューラルネットのドロップアウト、データ拡張、アンサンブル学習などがあります。テーブル形式の問題では、特徴量エンジニアリングと枝刈りがバリアンスを低減させます。LLMでは、選択的なファインチューニングやプロンプトチューニングによって破滅的忘却を回避します。モデルのドリフトは、共変量ドリフト（入力分布の変化）またはコンセプトドリフト（ラベルと特徴量の関係性の変化）として現れます。Amazon SageMaker Model Monitorで継続的なモニタリングを実装してデータと予測のドリフトを検出し、SageMaker PipelinesまたはAWS LambdaとStep Functionsを使用したイベント駆動型ワークフローで定期的な再トレーニングをオーケストレーションします。規制のある環境では、説明可能性と公平性のツールを適用します。SageMaker Clarifyは特徴量の重要度、バイアス指標、およびトレーニング前後のレポートを提供し、推論パイプラインに統合されたSHAPやLIMEは局所的な説明を提供します。よくある罠には、データ品質の問題をモデルの劣化と混同すること、パフォーマンスがビジネスのしきい値を下回るまで再トレーニングを遅らせること、根本原因分析のための入力/出力をログに記録しないことなどがあります。信頼度が低い、またはリスクの高い予測に対しては、Amazon Augmented AI (A2I) を使用してヒューマンインザループ（人間参加型）のレビューを設計します。

最適化、ハイパーパラメータチューニング、ライフサイクル管理

ハイパーパラメータチューニングとデプロイ戦略は、モデルが精度、レイテンシー、コストの目標を達成できるかどうかを決定します。SageMaker Automatic Model Tuningを使用して、ベイズ、ランダム、またはハイパーバンド検索を実行し、パフォーマンスの低い領域を再探索することなく反復的な改善を行いたい場合は、ウォームスタートチューニングジョブを使用します。次元数とコンピューティング予算に基づいて検索戦略を選択します。小さな離散空間にはグリッド、広範なカバレッジにはランダム、効率的な収束にはベイズを選択します。SageMaker Debuggerによるプロファイリングで、勾配消失やボトルネックを示すテンソルやルールを収集し、運用上の制約に合わせて最適化します。また、メモリやCPU/GPUの要件に基づいてインスタンスタイプを選択します。BedrockまたはSageMakerを介した基盤モデルのファインチューニングでは、コストを管理し、ベースモデルの挙動へのリスクを低減するために、パラメータ効率の良い手法（アダプターレイヤー、プロンプトチューニングなど）を検討する必要があります。デプロイには、SageMaker Model Registryにモデルを登録し、CodePipelineとSageMaker ProjectsでCI/CDを構築し、トラフィックに応じてSageMaker Endpointsまたはサーバーレス推論でサービスを提供します。よくある落とし穴には、不釣り合いなコストをかけてわずかなメトリクスの向上を追い求めること、キャリブレーションと信頼度スコアリングを怠ること（その結果、脆弱な人間によるレビューのトリガーにつながる）、モデルと合わせてデータセットをバージョニングしないことなどがあります。再現性を維持するために、Feature StoreとGlue Catalogにデータセットの系統を組み込みます。

実践的な問題：ユースケースシナリオ

シナリオ：中規模の金融サービス企業であるFinBankは、AWS上でモデルを実行し、トランザクションデータと顧客メタデータをS3およびSageMaker Feature Storeに保存しています。生成AIアシスタントにはBedrockを、予測モデルにはSageMakerを使用しています。

課題：解約予測モデルが、本番データを1週間使用した後にパフォーマンスの低下を示しています。チームは、ドリフトを測定し、モデルを更新し、説明可能性の要件へのコンプライアンスを確保するための管理された計画を必要としています。

推奨アプローチ：

Amazon SageMaker Model Monitorをデプロイして、特徴量の分布、予測の概要をキャプチャし、ベースラインデータセットに対する共変量ドリフトと予測ドリフトを検出します。
ドリフトが検出された場合、SageMaker Pipelineをトリガーしてデータ検証（GlueおよびAWS Data Wrangler）を実行し、データを再調整または拡張し、ウォームスタートのハイパーパラメータチューニングを使用してSageMaker Trainingで再トレーニングジョブを作成します。
デプロイ前に、SageMaker Clarifyを実行して公平性と特徴量の重要度分析を行い、説明可能性レポートを生成します。信頼度の低い予測は、Amazon Augmented AI (A2I)の人間によるレビューワークフローにルーティングします。
新しいモデルをSageMaker Model Registryに登録し、カナリアデプロイ用のSageMaker Endpointにデプロイします。その後、シャドウトランステストを実施し、ビジネスKPIに対するCloudWatchアラームを設定した段階的なロールアウトを行います。

論理的根拠：Model Monitorによる継続的なモニタリングはドリフトを早期に検出します。自動化されたパイプラインは再現性とコスト効率の高い再トレーニングを保証し、ClarifyとA2IはAWS AI Practitionerのベストプラクティスに沿った、コンプライアンスに対応できるレベルの説明と人間による監視を提供します。

← MLデータエンジニアリング · すべてのドメイン · MLOpsとデプロイ →

これらの問題を練習する → · ExamRoll.ioで時間制限付き練習 →