Un ingegnere ML deve estrarre, trasformare e caricare dati da Amazon S3 per l'analisi, scoprire lo schema dei dati e archiviare i metadati con il minimo sforzo manuale. Quale opzione consente di raggiungere questo obiettivo?

AWS Glue è un servizio ETL (Extract, Transform, Load) serverless che si integra nativamente con Amazon S3. Consente di definire e orchestrare job ETL per elaborare i dati. La sua funzionalità di crawler può automaticamente scoprire lo schema dei dati in S3 e popolare il Data Catalog di AWS Glue, che è un repository di metadati persistente. Questo approccio minimizza lo sforzo manuale per la scoperta dello schema e la gestione dei metadati, rendendolo la soluzione più efficiente per il requisito. Amazon SageMaker Data Wrangler è più orientato alla preparazione interattiva dei dati per il machine learning e non è la soluzione primaria per la scoperta automatica dello schema e l'archiviazione dei metadati nel Data Catalog. Amazon Athena è un servizio di query interattivo e non un servizio ETL completo per la trasformazione dei dati e la scoperta dello schema. AWS Step Functions può orchestrare flussi di lavoro, ma non esegue direttamente l'ETL o la scoperta dello schema. L'utilizzo di un'istanza Amazon EC2 con scikit-learn richiederebbe uno sviluppo manuale significativo per l'ETL, la scoperta dello schema e la gestione dei metadati, il che non soddisfa il requisito di "minimo sforzo manuale".