Amazon AIF-C01: Addestramento, Valutazione e Ottimizzazione del Modello — Guida allo studio

By Laurynas Brazys · 30 July 2026 · #amazon #aif-c01 #certification #exam-prep #study-guide

Fa parte della AWS AI Practitioner AIF-C01 — Guida allo studio. Esercitati con risposte verificate nel centro esami Amazon, oppure fai test cronometrati su ExamRoll.io.

Strategie di addestramento e architettura dei dati

La progettazione delle strategie di addestramento inizia con la decisione se addestrare un modello da zero, effettuare il fine-tuning di un modello pre-addestrato o applicare tecniche di few‑shot/prompting. Per dataset etichettati di piccole dimensioni, il transfer learning su un modello pre-addestrato (modelli di Amazon Bedrock o SageMaker JumpStart) accelera la convergenza e migliora la generalizzazione; per corpora di grandi dimensioni e specifici di un dominio, può essere giustificato un addestramento completo su SageMaker Training con istanze distribuite (Horovod o addestramento distribuito gestito da SageMaker). L’architettura dei dati è fondamentale: archiviare i dati grezzi ed elaborati in Amazon S3, curare le feature in Amazon SageMaker Feature Store, trasformare con AWS Glue o SageMaker Processing ed etichettare con Amazon SageMaker Ground Truth. Garantire la sicurezza e la privacy con endpoint VPC, crittografia KMS e connettori privati di Bedrock durante il fine-tuning su dati sensibili. Le trappole comuni includono il label leakage da informazioni future, il time-based leakage per problemi temporali e il campionamento sbilanciato che introduce bias nelle metriche. I criteri decisionali dovrebbero ponderare le dimensioni del dataset, la qualità delle etichette, i vincoli di latenza e costo e i requisiti normativi; scegliere lo spot training per risparmiare sui costi, ma convalidare la riproducibilità e il checkpointing. Utilizzare SageMaker Experiments per tracciare le esecuzioni e il Model Registry per versionare gli artefatti, consentendo confronti riproducibili e rollback sicuri.

Metriche di valutazione e validazione

La selezione delle metriche deve essere guidata dall’obiettivo di business piuttosto che dalla familiarità con esse. Per la classificazione, dare priorità alla precision quando i falsi positivi sono costosi (allarmi frode) e alla recall quando la mancata identificazione dei positivi è pericolosa (screening di malattie). Per l’information retrieval e la riassunzione, ROUGE e BLEU catturano la sovrapposizione degli n-grammi e la fluidità, mentre la valutazione umana o le metriche di fattualità sono necessarie per risposte critiche dal punto di vista della conformità. Utilizzare strategie di validazione robuste: suddivisioni stratificate k-fold o consapevoli delle serie temporali (time-series-aware), un set di test holdout dedicato e deployment shadow o canary per convalidare le prestazioni in produzione con traffico reale. La calibrazione del modello e la selezione della soglia richiedono spesso curve precision-recall o analisi ROC-AUC e metodi di calibrazione post-addestramento. Considerare metriche orientate al business (errore ponderato per il costo, uplift sulla churn dei clienti) insieme alle metriche tecniche. Le trappole comuni per gli operatori del settore includono l’eccessivo affidamento sull’accuracy con classi sbilanciate e la valutazione della NLG solo con BLEU/ROUGE quando la coerenza fattuale è importante. Definizioni delle metriche di riferimento:

Accuracy: proporzione di previsioni corrette.
Precision: veri positivi divisi per i positivi previsti.
Recall: veri positivi divisi per i positivi effettivi.
F1 score: media armonica di precision e recall.
ROC AUC: area sotto la curva ROC (receiver operating characteristic).
BLEU: metrica di sovrapposizione di n-grammi basata sulla precision per compiti simili alla traduzione.
ROUGE: metrica di sovrapposizione di n-grammi orientata alla recall per la riassunzione.

Overfitting, underfitting, drift e spiegabilità

L’overfitting si verifica quando i modelli memorizzano il rumore presente nei dati di addestramento; l’underfitting si verifica quando i modelli non riescono a catturare il segnale. Le mitigazioni includono l’early stopping, la regolarizzazione (L1/L2), il dropout per le reti neurali, la data augmentation e l’ensembling. Per problemi tabulari, la feature engineering e il pruning riducono la varianza; per gli LLM, il fine-tuning selettivo o il prompt tuning evitano il catastrophic forgetting. Il model drift si manifesta come covariate drift (spostamento della distribuzione degli input) o concept drift (cambiamenti nella relazione con le etichette). Implementare il monitoraggio continuo con Amazon SageMaker Model Monitor per rilevare il drift dei dati e delle previsioni, e orchestrare il riaddestramento periodico con SageMaker Pipelines o flussi di lavoro event-driven utilizzando AWS Lambda e Step Functions. Per ambienti regolamentati, applicare strumenti di spiegabilità (explainability) e fairness: SageMaker Clarify fornisce l’importanza delle feature, metriche di bias e report pre/post-addestramento; SHAP e LIME integrati nelle pipeline di inferenza offrono spiegazioni locali. Le trappole comuni includono il confondere problemi di qualità dei dati con il degrado del modello, ritardare il riaddestramento finché le prestazioni non scendono al di sotto delle soglie di business e non registrare input/output per l’analisi delle cause principali (root-cause analysis). Progettare una revisione human-in-the-loop utilizzando Amazon Augmented AI (A2I) per le previsioni a bassa confidenza o ad alto rischio.

Ottimizzazione, tuning degli iperparametri e gestione del ciclo di vita

Il tuning degli iperparametri e la strategia di deployment determinano se un modello raggiunge gli obiettivi di accuratezza, latenza e costo. Utilizzare SageMaker Automatic Model Tuning per eseguire ricerche bayesiane, casuali o hyperband, e avviare i processi di tuning in modalità warm-start quando si desidera un miglioramento iterativo senza riesplorare le aree con scarsi risultati. Scegliere la strategia di ricerca in base alla dimensionalità e al budget di calcolo: grid per spazi discreti di piccole dimensioni, random per una copertura ampia e bayesiana per una convergenza efficiente. Ottimizzare per i vincoli operativi eseguendo il profiling con SageMaker Debugger per raccogliere tensori e regole che indicano vanishing gradient o colli di bottiglia, e selezionare i tipi di istanza in base alle esigenze di memoria e CPU/GPU. Il fine-tuning dei foundation model in Bedrock o tramite SageMaker dovrebbe considerare tecniche efficienti dal punto di vista dei parametri (es. adapter layer, prompt tuning) per controllare i costi e ridurre i rischi per il comportamento del modello di base. Per il deployment, registrare i modelli in SageMaker Model Registry, creare pipeline CI/CD con CodePipeline e SageMaker Projects, e servirli con SageMaker Endpoints o inferenza serverless a seconda del traffico. Le trappole comuni includono la ricerca di guadagni marginali nelle metriche a un costo sproporzionato, la trascuratezza della calibrazione e del punteggio di confidenza (che porta a trigger di revisione umana fragili) e la mancata versionatura dei set di dati insieme ai modelli; incorporare il lineage dei dati in Feature Store e Glue Catalog per mantenere la riproducibilità.

Problema Pratico: Scenario d’Uso

Scenario: FinBank, un’azienda di servizi finanziari di medie dimensioni, esegue modelli su AWS e archivia i metadati delle transazioni e dei clienti in S3 e SageMaker Feature Store. Utilizzano Bedrock per un assistente generativo e SageMaker per i modelli predittivi.

Sfida: Il modello di previsione del churn mostra un degrado delle prestazioni dopo una settimana di dati di produzione e il team necessita di un piano controllato per misurare il drift, aggiornare il modello e garantire la conformità ai requisiti di spiegabilità (explainability).

Approccio Raccomandato:

Eseguire il deployment di Amazon SageMaker Model Monitor per catturare le distribuzioni delle feature, i riepiloghi delle predizioni e rilevare il drift delle covariate e delle predizioni rispetto al set di dati di baseline.
Se viene rilevato un drift, attivare una SageMaker Pipeline per eseguire la validazione dei dati (Glue e AWS Data Wrangler), ribilanciare o aumentare i dati e creare un processo di retraining utilizzando SageMaker Training con il tuning degli iperparametri in modalità Warm-Start.
Prima del deployment, eseguire SageMaker Clarify per l’analisi della fairness e dell’importanza delle feature e generare report di spiegabilità; instradare le predizioni a bassa confidenza verso i flussi di lavoro di revisione umana di Amazon Augmented AI (A2I).
Registrare il nuovo modello in SageMaker Model Registry, distribuirlo su un SageMaker Endpoint di tipo canary ed eseguire test con traffico in modalità shadow, seguito da un rollout graduale con allarmi CloudWatch per i KPI aziendali.

Motivazione: Il monitoraggio continuo con Model Monitor rileva precocemente il drift; le pipeline automatizzate garantiscono la riproducibilità e un retraining efficiente in termini di costi, mentre Clarify e A2I forniscono spiegazioni adeguate ai requisiti di conformità e una supervisione umana in linea con le best practice di AWS AI Practitioner.

← Ingegneria dei Dati per ML · Tutti i domini · MLOps e Deployment →

Esercitati su queste domande → · Pratica cronometrata su ExamRoll.io →