VideoAIは、40 TBの生のビデオフレームをS3に保存し、インスタンスストレージが1 TBしかないGPUインスタンスでトレーニングを行っています。トレーニングループは、いくつかのエポックにわたってデータセットをシーケンシャルに読み取り、stdin互換インターフェースからレコードをストリーミングできます。どのSageMaker入力モードを選択すべきですか。また、その理由は何ですか。

正解はPipeモードです。Pipeモードは、トレーニングコンテナがS3から直接データをストリーミングできるため、40 TBのデータセットを1 TBのインスタンスストレージにダウンロードする必要がありません。アルゴリズムがstdin互換インターフェースからのシーケンシャルストリーミングをサポートしているため、このモードは効率的です。Fileモードは、トレーニング前にデータセット全体をインスタンスストレージにダウンロードするため、データセットがインスタンスストレージよりも大きい場合は不適切です。EBSVolumeSizeを増やすオプションは、Pipeモードの利点を打ち消し、不要なコストと複雑さを招きます。S3をPOSIXファイルシステムとしてマウントするオプションは、SageMakerのネイティブな入力モードではなく、データ転送のオーバーヘッドを回避できません。