Amazon AIF-C01: Ingegneria dei Dati per ML — Guida allo studio
Fa parte della AWS AI Practitioner AIF-C01 — Guida allo studio. Esercitati con risposte verificate nel centro esami Amazon, oppure fai test cronometrati su ExamRoll.io.
Raccolta, etichettatura, versioning e governance dei dati
La raccolta di set di dati rappresentativi e verificabili è il passo fondamentale per qualsiasi progetto di ML. Utilizzare Amazon S3 come archivio centrale durevole con S3 Versioning e blocco degli oggetti abilitati per conservare gli input grezzi e tracciarne la provenienza. Per l’ingestion e la catalogazione strutturata, registrare i set di dati nell’AWS Glue Data Catalog e applicare un controllo degli accessi granulare tramite Lake Formation. Quando è richiesta l’etichettatura umana, Amazon SageMaker Ground Truth fornisce flussi di lavoro integrati, un’interfaccia utente per l’annotazione e cicli di active learning che riducono i costi di etichettatura, creando al contempo metadati per la concordanza e l’affidabilità degli etichettatori. Le trappole comuni includono la raccolta di campioni distorti o non rappresentativi, la mancata registrazione della lineage e delle regole di etichettatura, e controlli di qualità delle etichette insufficienti; mitigare questi rischi archiviando audit di etichettatura, ri-etichettando in cieco dei sottoinsiemi e utilizzando euristiche di consolidamento delle etichette. Le decisioni in materia di privacy e conformità guidano l’architettura: utilizzare la crittografia lato server di S3 con CMK gestite da KMS, limitare l’accesso con policy IAM ed endpoint VPC (AWS PrivateLink), ed eseguire il rilevamento e l’oscuramento di PII con Amazon Comprehend prima di condividere i dati per l’addestramento del modello. Per i programmi a lunga esecuzione, acquisire snapshot dei set di dati, etichettarli con ID di set di dati e tracciare gli esperimenti con Amazon SageMaker Experiments o uno strumento esterno come DVC per consentire un addestramento riproducibile e la rendicontazione normativa.
Pre-elaborazione, feature engineering ed EDA
Le trasformazioni e le feature determinano la capacità di un modello di generalizzare. Utilizzare AWS Glue o Amazon SageMaker Data Wrangler per profilare, pulire e normalizzare i dati, ed eseguire analisi esplorative iterative con Amazon QuickSight o notebook Jupyter ospitati in Amazon SageMaker Studio. Per la gestione delle feature in produzione, adottare Amazon SageMaker Feature Store per garantire un calcolo coerente delle feature offline e online ed evitare il disallineamento tra addestramento e inferenza (train/serve skew); archiviare separatamente le feature grezze e quelle derivate e registrare la logica di creazione delle feature. Le pipeline per serie temporali e streaming dovrebbero sfruttare Amazon Kinesis o l’ETL in streaming di AWS Glue per l’aggiornamento delle feature a bassa latenza. Le trappole tipiche includono il data leakage — in cui informazioni future trapelano nei dati di addestramento — la gestione impropria dei valori mancanti e il disallineamento tra le feature di addestramento offline e quelle di inferenza online. I criteri decisionali nella progettazione delle pipeline dipendono dal compromesso tra aggiornamento e costo: scegliere ETL batch per ricalcoli storici pesanti, streaming per la personalizzazione quasi in tempo reale e architetture ibride quando sono richieste feature online a bassa latenza. Automatizzare i controlli di validazione e l’applicazione dello schema in Glue o come parte dei processi di SageMaker Processing per rilevare precocemente lo schema drift.
Embedding, augmentation, dati sintetici e set di dati per i foundation model
Gli embedding convertono testo, immagini o input multimodali in vettori densi che catturano relazioni semantiche; alimentano la ricerca semantica, la retrieval-augmented generation e il clustering. Costruire un pattern di retrieval-augmented generation (RAG) in cui si generano embedding con Amazon Bedrock o encoder ospitati su SageMaker, si archiviano i vettori in Amazon OpenSearch Service (k-NN), Amazon Kendra o un vector store gestito, e si recupera il contesto per condizionare il foundation model. La data augmentation e la generazione di dati sintetici sono pratiche utili quando gli esempi reali scarseggiano: utilizzare modelli generativi in SageMaker per creare parafrasi, trasformazioni di immagini (tramite Albumentations o SageMaker Processing) o record sintetici che preservano la privacy. Attenzione a non fare eccessivo affidamento sui dati sintetici: una scarsa fedeltà può introdurre uno spostamento della distribuzione (distribution shift) e causare l’overfitting dei modelli su artefatti. Per i set di dati di addestramento dei FM, curare esemplari di alta qualità, standardizzare i formati con template di prompt e versionare ogni snapshot del set di dati in S3. Per i dati privati utilizzati con FM di terze parti, preferire un percorso di fine-tuning privato (portando la capacità di calcolo in un VPC) o implementare pipeline di solo recupero (retrieval-only) che inviano solo contesto non sensibile al FM, mantenendo i documenti di origine in un vector store sicuro; applicare l’oscuramento e il mascheramento a livello di token per prevenire la fuga di dati. Il prompt engineering e i template di istruzioni (system prompt) sono fondamentali per modellare le risposte del modello; regolare i parametri temperature, top_k o top_p in base al determinismo e alla creatività richiesti.
Valutazione, implementazione, monitoraggio e gestione del ciclo di vita
La valutazione deve essere esplicita, utilizzando metriche allineate agli obiettivi di business: i task di regressione utilizzano RMSE o MAE, la classificazione binaria valuta precision/recall/F1 e ROC AUC, e la summarization utilizza le varianti di ROUGE. Eseguire la validazione e la validazione incrociata (cross-validation) durante la fase di valutazione e riservare un set di test “blind” (cieco) per l’accettazione finale. Implementare utilizzando gli endpoint di Amazon SageMaker (inferenza in tempo reale o serverless) o Amazon Bedrock per il serving gestito di FM; ottimizzare per la latenza selezionando modelli distillati più piccoli, abilitando endpoint multi-modello o utilizzando SageMaker Serverless Inference per traffico imprevedibile. Monitorare le prestazioni e il data drift in produzione con Amazon SageMaker Model Monitor e impostare avvisi per il degrado delle metriche; utilizzare implementazioni canary o blue/green per limitare il rischio. Il controllo degli accessi per l’utilizzo del modello viene applicato tramite policy dei ruoli IAM, permessi a livello di risorsa e isolamento di rete. Le trappole per i professionisti includono la scelta della metrica sbagliata (l’accuratezza per classi sbilanciate), l’ignorare il concept drift e la mancata strumentazione dei dati di training e dei log di inferenza per l’auditabilità. Utilizzare CI/CD per il ML con SageMaker Pipelines per standardizzare la cadenza del retraining, mantenere coerente il versioning di dataset e modelli e conservare una traccia di audit difendibile per la conformità.
Problema Pratico: Scenario d’Uso
Scenario: BrightCart, una catena di supermercati online, sta modernizzando il suo sistema di inventario on-premise su AWS e desidera un chatbot di IA generativa che risponda alle domande dei clienti e fornisca le ubicazioni dell’inventario in tempo reale, proteggendo al contempo i dati dei clienti e dell’inventario in conformità con le normative. Il loro ambiente AI su AWS include S3 per i dataset, Amazon RDS per l’inventario transazionale, SageMaker Studio per lo sviluppo, accesso a Bedrock per i foundation model e networking VPC.
Sfida: Costruire un chatbot privato, a bassa latenza e abilitato per RAG che recuperi l’inventario corrente ed eviti di esporre dati sensibili o di generare allucinazioni.
Approccio Raccomandato:
- Provisionare un VPC privato e configurare endpoint AWS PrivateLink per Bedrock e SageMaker; archiviare i documenti canonici dei prodotti e gli snapshot dell’inventario in S3 con crittografia lato server (KMS) e abilitare il versioning di S3.
- Calcolare continuamente gli embedding dai documenti dei prodotti con un encoder di Bedrock o un modello SageMaker in una sottorete privata, e archiviare i vettori in Amazon OpenSearch Service con k-NN per un rapido recupero dei vicini più prossimi (nearest-neighbor); mantenere l’inventario in tempo reale in Amazon RDS e fornire un connettore di runtime sicuro per il recupero.
- Implementare una pipeline di retrieval-augmented in cui l’applicazione prima interroga OpenSearch per il contesto, poi chiama Bedrock con un template di prompt di sistema che include il contesto recuperato e istruzioni di sicurezza esplicite; sanificare gli input dell’utente tramite validazione dell’input e usare Amazon Comprehend per rilevare PII e redigerle prima del recupero.
- Implementare il chatbot dietro un Application Load Balancer, servire il FM tramite Bedrock con un API gateway nel VPC, abilitare il logging su CloudWatch con accesso limitato e monitorare le risposte del modello e il drift con SageMaker Model Monitor e audit umani periodici.
Motivazione: Questo approccio utilizza un pattern RAG per minimizzare l’esposizione di dati sensibili, sfrutta il networking privato e KMS per la conformità, separa l’inventario in tempo reale dal contesto del modello per garantire l’accuratezza, e applica il monitoraggio e controlli human-in-the-loop per controllare le allucinazioni e assicurare l’affidabilità continua.
← Sicurezza e Privacy dell’AI · Tutti i domini · Addestramento →
Esercitati su queste domande → · Pratica cronometrata su ExamRoll.io →
Pass the whole exam — not just this question
You found this answer. Get every verified question and explanation in one place, and save hours of prep. Free to start.
Supera l'esame →