Amazon SageMakerでデプロイされたMLモデルは、Model Monitorを使用しています。モデルを更新した後、MLエンジニアはModel Monitorのチェックでデータ品質の障害を検出しました。Model Monitorがフラグを立てたデータ品質の問題に対処するために、エンジニアはどのようなアクションを取るべきですか？

Model Monitorは、モデルのパフォーマンスを評価するためにベースラインと比較します。データ品質の障害が検出された場合、それは通常、運用データが以前のベースラインから逸脱していることを意味します。この問題に対処するには、最新の運用データセットから新しいベースラインを生成し、Model Monitorがその新しいベースラインを使用してチェックを実行するように設定することが最も効果的です。これにより、モデルの現在の運用環境に合わせた適切な監視が可能になります。 モデルのパラメータやハイパーパラメータの変更は、モデルの精度向上には役立ちますが、データ品質の問題を直接解決するものではありません。手動のModel Monitorジョブの開始は、一時的な評価にはなりますが、根本的な解決にはなりません。トレーニングセットへの例の追加とモデルの再トレーニングは、モデルのドリフトや精度低下の場合に有効ですが、データ品質の逸脱が原因である場合は、まずベースラインの更新を検討すべきです。