Amazon SageMaker の本番環境 ML パイプラインは、最大 1 GB の入力を処理し、最大 1 時間実行されるジョブを処理しますが、アプリケーションにはほぼリアルタイムの応答が必要です。最も適切な SageMaker 推論オプションはどれですか？

非同期推論は、最大 1 GB の入力と最大 1 時間の実行時間という要件に最も適しています。これは、リアルタイム推論の制限 (通常は数秒以内の応答) を超え、バッチ変換よりも低レイテンシーが求められる場合に理想的です。非同期推論は、キューイングと自動スケーリングをサポートし、長時間実行されるジョブや大きなペイロードを効率的に処理しながら、ほぼリアルタイムの応答を提供します。リアルタイム推論は、このような大きな入力と実行時間には適していません。サーバーレス推論は、コールドスタートのレイテンシーが問題となる可能性があり、実行時間の制限も厳しい場合があります。バッチ変換は、最もレイテンシーの低いオプションではなく、ほぼリアルタイムの応答には適していません。