Firma opracowuje modele uczenia maszynowego na AWS jako niezależne mikrousługi. Każda mikrousługa pobiera około 1 GB danych modelu z Amazon S3 podczas uruchamiania i ładuje je do pamięci. Użytkownicy uzyskują dostęp do modeli ML za pośrednictwem asynchronicznego API i mogą wysyłać pojedyncze lub wsadowe żądania. Firma obsługuje setki użytkowników. Wzorce użytkowania są nieregularne: niektóre modele mogą być nieaktywne przez dni lub tygodnie, podczas gdy inne otrzymują partie tysięcy żądań. Które rozwiązanie spełni te wymagania?

Prawidłowa odpowiedź to kierowanie żądań API do Amazon SQS i wdrożenie modeli ML jako usług Amazon ECS, które odczytują z kolejki, z automatycznym skalowaniem ECS. To rozwiązanie jest optymalne, ponieważ asynchroniczne API i nieregularne wzorce użytkowania wskazują na potrzebę buforowania żądań, co SQS doskonale realizuje. Modele ML wymagają 1 GB danych w pamięci, co jest wyzwaniem dla bezserwerowych funkcji Lambda, które mają ograniczenia pamięci i czasu wykonania, a także mogą mieć problem z "zimnym startem" przy nieregularnym ruchu. Amazon ECS (szczególnie z Fargate) oferuje elastyczność w zarządzaniu pamięcią i czasem działania, a także efektywne skalowanie w oparciu o metryki kolejki SQS, zapewniając, że zasoby są alokowane tylko wtedy, gdy są potrzebne, co jest kosztowo efektywne dla nieregularnych obciążeń.