ある工場では、産業用PCでAWS IoT Greengrassを使用して画像推論を実行するパイロット版を運用していました。このパイロット版は、画像をS3にアップロードし、SageMakerエンドポイントを呼び出していました。数千台のマシンにスケールアップする際、インターネット帯域幅が飽和し、レイテンシーが許容できないレベルになりました。レイテンシーを削減し、ネットワーク容量の問題を解決するための最も費用対効果の高い方法は何ですか？

正解は、推論Lambdaとモデルを各産業用PCで実行されているAWS IoT Greengrassコアにローカルにデプロイし、Greengrass Lambdaがローカルモデルを呼び出し、結果をオンサイトのWebサービスに直接転送することです。これにより、推論がエッジデバイス上で実行されるため、インターネット帯域幅の使用を最小限に抑え、レイテンシーを大幅に削減できます。他の選択肢は、依然としてクラウドへのデータ転送に依存したり、帯域幅の問題を根本的に解決しなかったりするため、費用対効果が低く、スケーラビリティの問題を解決できません。Direct Connectは高価であり、画像の圧縮・解凍はレイテンシーを増加させる可能性があります。SageMakerのオートスケーリングはクラウド側の問題に対処しますが、エッジとクラウド間のネットワークボトルネックは解消されません。