Un'azienda sta spostando carichi di lavoro on-premises su scala petabyte che utilizzano Apache Pig, Oozie, Spark, HBase e Flink su AWS e desidera un overhead operativo inferiore e opzioni serverless, mantenendo prestazioni uguali o migliori. Quale servizio ETL dovrebbe scegliere?

Amazon EMR è la scelta migliore perché supporta nativamente i framework Big Data open source menzionati (Apache Pig, Oozie, Spark, HBase, Flink) e offre la flessibilità di eseguire carichi di lavoro su istanze EC2 o in modalità serverless con EMR Serverless, riducendo l'overhead operativo. Fornisce inoltre prestazioni elevate e scalabilità per carichi di lavoro su scala petabyte. AWS Glue è un servizio ETL serverless, ma potrebbe richiedere una riscrittura significativa dei carichi di lavoro esistenti basati su Pig, Oozie, HBase e Flink. AWS Lambda è un servizio di calcolo serverless per funzioni a breve termine, non adatto per carichi di lavoro ETL su scala petabyte. Amazon Redshift è un data warehouse basato su colonne, non un servizio ETL per l'elaborazione di dati non strutturati o semi-strutturati con i framework specificati.