Firma okresowo ponownie trenuje modele ML, używając nowych danych z urządzeń strumieniowych. Potrzebuje systemu ingestii o wysokiej przepustowości, trwałego i skalowalnego, który może tolerować do 5 minut opóźnienia ingestii i stosować podstawowe transformacje podczas ingestii. Które podejście zapewnia największą efektywność operacyjną?

Poprawna odpowiedź zapewnia wysoką przepustowość, trwałość i skalowalność, jednocześnie tolerując opóźnienia do 5 minut i umożliwiając proste transformacje. Amazon Kinesis Data Streams jest idealny do pozyskiwania danych strumieniowych w czasie rzeczywistym. Kinesis Data Firehose może pobierać dane ze strumienia Kinesis, buforować je, transformować za pomocą funkcji Lambda i dostarczać do S3, co jest efektywne operacyjnie. Opcja z bezpośrednim zapisem do S3, a następnie przesyłaniem do Kinesis, jest nieefektywna i wprowadza niepotrzebne kroki. Wyzwalanie zadań AWS Glue na zdarzeniach S3 jest dobrym rozwiązaniem dla większych partii danych, ale może wprowadzać większe opóźnienia i jest mniej optymalne dla ciągłego strumieniowania z niskim opóźnieniem niż Kinesis. Opcja z Firehose i AWS Glue jest mniej efektywna, ponieważ Firehose ma wbudowane możliwości transformacji za pomocą Lambdy, a łączenie go z AWS Glue wprowadza dodatkową złożoność i potencjalne opóźnienia.