Model wdrożony w oparciu o algorytm genetyczny może potrzebować kilku minut na wygenerowanie predykcji i musi przetwarzać żądania zawierające do 100 MB danych. Która opcja wdrożenia minimalizuje narzut operacyjny, jednocześnie spełniając te wymagania?

Prawidłowa odpowiedź to wdrożenie modelu na punkcie końcowym Amazon SageMaker Asynchronous Inference. Jest to optymalne rozwiązanie, ponieważ algorytm genetyczny, który potrzebuje kilku minut na wygenerowanie predykcji, wskazuje na długi czas wnioskowania. Dodatkowo, przetwarzanie żądań zawierających do 100 MB danych wymaga obsługi dużych ładunków. Asynchronous Inference jest zaprojektowane do obsługi dużych ładunków i długich czasów wnioskowania, minimalizując narzut operacyjny, ponieważ nie wymaga utrzymywania aktywnych instancji przez cały czas oczekiwania na odpowiedź. Inne opcje są mniej odpowiednie: Wdrożenie na instancjach Amazon EC2 w grupie Auto Scaling za Application Load Balancer wymagałoby zarządzania infrastrukturą i skalowaniem ręcznie, co zwiększa narzut operacyjny. Punkt końcowy Amazon SageMaker real-time nie jest odpowiedni dla długich czasów wnioskowania (kilka minut) i dużych ładunków danych, ponieważ jest przeznaczony do szybkich, synchronicznych odpowiedzi. Spakowanie modelu jako kontenera i wdrożenie go w Amazon ECS na instancjach Amazon EC2 również wiąże się z większym narzutem operacyjnym związanym z zarządzaniem klastrem ECS i instancjami EC2.