Alle ruwe data voor een ML-project wordt opgeslagen in Amazon S3. Een ML-engineer moet data-ingestion-pipelines en model-deployment-pipelines bouwen op AWS. Welke combinatie van services moet de engineer gebruiken?

AWS Glue is een volledig beheerde ETL-service (Extract, Transform, Load) die ideaal is voor het bouwen van data-ingestion-pipelines. Het kan gegevens uit S3 lezen, transformeren en voorbereiden voor ML-modellen. Amazon SageMaker Studio Classic biedt een geïntegreerde ontwikkelomgeving (IDE) voor machine learning, inclusief tools voor het bouwen, trainen en implementeren van modellen, waardoor het een geschikte keuze is voor model-deployment-pipelines. Amazon Kinesis Data Firehose is primair voor het vastleggen en laden van streaminggegevens, niet voor algemene batch-data-ingestion uit S3. Amazon Redshift ML is gericht op het bouwen van ML-modellen binnen Redshift, niet op algemene data-ingestion. Amazon Athena is een queryservice voor S3-gegevens en geen volwaardige ETL-tool voor het bouwen van robuuste data-ingestion-pipelines. Een SageMaker notebook kan worden gebruikt voor modelontwikkeling, maar SageMaker Studio Classic biedt een completere en gestroomlijndere ervaring voor het beheer van de gehele ML-levenscyclus, inclusief deployment.