Masz zestaw danych o rozmiarze 2 TB w Amazon S3 i wytrenowany kontener modelu przechowywany w Amazon ECR. Musisz uruchomić ekonomiczne, skalowalne zadanie batch scoringu dla tego zestawu danych. Która opcja jest najbardziej ekonomicznym i skalowalnym rozwiązaniem?

Poprawna odpowiedź to AWS Batch z instancjami spotowymi i FSx for Lustre. AWS Batch zapewnia skalowalne i ekonomiczne uruchamianie zadań wsadowych, a instancje spotowe Amazon EC2 znacząco obniżają koszty obliczeń. Amazon FSx for Lustre to wysokowydajny system plików zoptymalizowany pod kątem obciążeń ML, idealny do przetwarzania dużych zbiorów danych (2 TB) z S3, oferując szybki dostęp i przepustowość. Pozostałe opcje są mniej optymalne: Użycie instancji zarezerwowanych EC2 w AWS Batch jest droższe niż instancje spotowe. Woluminy instance-store są efemeryczne i nie nadają się do trwałych danych wejściowych z S3. Notebooki SageMaker nie są przeznaczone do uruchamiania dużych zadań batch scoringu w sposób ekonomiczny i skalowalny. Instancje zarezerwowane są droższe, a woluminy EBS mogą być wąskim gardłem wydajności dla tak dużego zbioru danych. Podobnie, notebooki SageMaker z instancjami spotowymi i EFS. EFS jest systemem plików ogólnego przeznaczenia, który może nie oferować wystarczającej wydajności dla obciążeń ML na tak dużej skali, a notebooki nie są idealne do zadań wsadowych.