Produkcyjny potok ML w Amazon SageMaker przetwarza dane wejściowe o rozmiarze do 1 GB, a zadania mogą trwać do godziny, ale aplikacja wymaga odpowiedzi w czasie zbliżonym do rzeczywistego. Która opcja wnioskowania SageMaker jest najbardziej odpowiednia?

Asynchroniczne wnioskowanie (Asynchronous inference) jest najlepszym wyborem, ponieważ pozwala na obsługę dużych ładunków danych (do 1 GB) i długotrwałych zadań (do godziny), jednocześnie zapewniając odpowiedzi w czasie zbliżonym do rzeczywistego. W przeciwieństwie do wnioskowania w czasie rzeczywistym (Real-time inference), które ma limity rozmiaru ładunku i czasu przetwarzania (zwykle do 60 sekund), asynchroniczne wnioskowanie jest zaprojektowane dla scenariuszy, gdzie natychmiastowa odpowiedź nie jest krytyczna, ale wymagane jest szybkie przetworzenie po stronie serwera. Wnioskowanie bezserwerowe (Serverless inference) również ma ograniczenia czasowe i rozmiarowe, a transformacja wsadowa (Batch transform) jest przeznaczona do przetwarzania offline, a nie do zastosowań wymagających odpowiedzi w czasie zbliżonym do rzeczywistego.