Amazon AIF-C01: Entrenamiento, Evaluación y Optimización de Modelos — Guía de estudio

By Laurynas Brazys · 30 July 2026 · #amazon #aif-c01 #certification #exam-prep #study-guide

Forma parte de la AWS AI Practitioner AIF-C01 — Guía de estudio. Practica con respuestas verificadas en el centro de exámenes de Amazon, o realiza tests cronometrados en ExamRoll.io.

Estrategias de entrenamiento y arquitectura de datos

El diseño de estrategias de entrenamiento comienza con la decisión de entrenar desde cero, ajustar un modelo preentrenado o aplicar técnicas de few-shot o prompting. Para conjuntos de datos etiquetados pequeños, el aprendizaje por transferencia (transfer learning) en un modelo preentrenado (modelos de Amazon Bedrock o SageMaker JumpStart) acelera la convergencia y mejora la generalización; para corpus grandes y específicos de un dominio, puede justificarse un entrenamiento completo en SageMaker Training con instancias distribuidas (Horovod o el entrenamiento distribuido gestionado por SageMaker). La arquitectura de datos es importante: almacene los datos brutos y procesados en Amazon S3, organice las características (features) en Amazon SageMaker Feature Store, transfórmelos con AWS Glue o SageMaker Processing y etiquételos con Amazon SageMaker Ground Truth. Aplique la seguridad y la privacidad con endpoints de VPC, cifrado de KMS y conectores privados de Bedrock al realizar el ajuste fino (fine-tuning) sobre datos sensibles. Las trampas comunes incluyen la fuga de etiquetas (label leakage) a partir de información futura, la fuga basada en el tiempo para problemas temporales y el muestreo desequilibrado que sesga las métricas. Los criterios de decisión deben sopesar el tamaño del conjunto de datos, la calidad de las etiquetas, las restricciones de latencia y costo, y los requisitos normativos; elija el entrenamiento spot para ahorrar costos, pero valide la reproducibilidad y el uso de puntos de control (checkpointing). Utilice SageMaker Experiments para seguir las ejecuciones y el Model Registry para versionar los artefactos, lo que permite comparaciones reproducibles y reversiones (rollbacks) seguras.

Métricas de evaluación y validación

La selección de métricas debe guiarse por el objetivo de negocio en lugar de por la familiaridad. Para la clasificación, priorice la precisión (precision) cuando los falsos positivos son costosos (alertas de fraude) y la exhaustividad (recall) cuando omitir positivos es peligroso (detección de enfermedades). Para la recuperación de información y la sumarización, ROUGE y BLEU capturan la superposición de n-gramas y la fluidez, mientras que la evaluación humana o las métricas de factualidad son necesarias para respuestas críticas desde el punto de vista del cumplimiento normativo. Utilice estrategias de validación robustas: validación cruzada estratificada de k iteraciones (stratified k-fold) o divisiones que tengan en cuenta las series temporales, un conjunto de prueba de retención (holdout) dedicado y despliegues en modo sombra (shadow) o canario (canary) para validar el rendimiento en producción bajo tráfico real. La calibración del modelo y la selección del umbral a menudo requieren curvas de precisión-exhaustividad (precision-recall) o análisis ROC-AUC y métodos de calibración posteriores al entrenamiento. Considere métricas orientadas al negocio (error ponderado por costo, mejora en la reducción de la pérdida de clientes o churn uplift) junto con las métricas técnicas. Las trampas comunes de los profesionales incluyen depender en exceso de la exactitud (accuracy) con clases desequilibradas y evaluar la NLG solo con BLEU/ROUGE cuando la consistencia factual es importante. Definiciones de métricas de referencia:

Exactitud (Accuracy): proporción de predicciones correctas.
Precisión (Precision): positivos verdaderos divididos por los positivos predichos.
Exhaustividad (Recall): positivos verdaderos divididos por los positivos reales.
Puntuación F1 (F1 score): media armónica de la precisión y la exhaustividad.
ROC AUC: área bajo la curva de características operativas del receptor (receiver operating characteristic).
BLEU: métrica de superposición de n-gramas basada en la precisión para tareas de tipo traducción.
ROUGE: métrica de superposición de n-gramas orientada a la exhaustividad para la sumarización.

Sobreajuste, subajuste, deriva y explicabilidad

El sobreajuste (overfitting) surge cuando los modelos memorizan el ruido del entrenamiento; el subajuste (underfitting) ocurre cuando los modelos no pueden capturar la señal. Las mitigaciones incluyen la detención temprana (early stopping), la regularización (L1/L2), el dropout para redes neuronales, el aumento de datos (data augmentation) y el ensamblado de modelos (ensembling). Para problemas tabulares, la ingeniería de características (feature engineering) y la poda (pruning) reducen la varianza; para los LLM, el ajuste fino selectivo (selective fine-tuning) o el ajuste de prompts (prompt tuning) evitan el olvido catastrófico. La deriva del modelo (model drift) se manifiesta como deriva de covariables (covariate drift), que es un cambio en la distribución de entrada, o deriva de concepto (concept drift), que son cambios en la relación de las etiquetas. Implemente un monitoreo continuo con Amazon SageMaker Model Monitor para detectar la deriva de datos y de predicciones, y orqueste el reentrenamiento periódico con SageMaker Pipelines o flujos de trabajo basados en eventos usando AWS Lambda y Step Functions. Para entornos regulados, aplique herramientas de explicabilidad (explainability) y equidad (fairness): SageMaker Clarify proporciona la importancia de las características, métricas de sesgo e informes previos y posteriores al entrenamiento; SHAP y LIME integrados en las canalizaciones (pipelines) de inferencia ofrecen explicaciones locales. Las trampas comunes incluyen confundir los problemas de calidad de los datos con la degradación del modelo, retrasar el reentrenamiento hasta que el rendimiento caiga por debajo de los umbrales de negocio y no registrar las entradas/salidas para el análisis de causa raíz. Diseñe una revisión con intervención humana (human-in-the-loop) utilizando Amazon Augmented AI (A2I) para predicciones de baja confianza o de alto riesgo.

Optimización, ajuste de hiperparámetros y gestión del ciclo de vida

El ajuste de hiperparámetros y la estrategia de despliegue determinan si un modelo cumple con los objetivos de precisión, latencia y costo. Utilice SageMaker Automatic Model Tuning para ejecutar búsquedas bayesianas, aleatorias o de tipo hyperband, y trabajos de ajuste con inicio en caliente (warm-start) cuando desee una mejora iterativa sin volver a explorar regiones de bajo rendimiento. Elija la estrategia de búsqueda según la dimensionalidad y el presupuesto de cómputo: de cuadrícula (grid) para espacios discretos pequeños, aleatoria (random) para una cobertura amplia y bayesiana para una convergencia eficiente. Optimice para las restricciones operativas perfilando con SageMaker Debugger para recopilar tensores y reglas que indiquen gradientes evanescentes (vanishing gradients) o cuellos de botella, y seleccione tipos de instancia según las necesidades de memoria y CPU/GPU. El ajuste fino (fine-tuning) de modelos fundacionales en Bedrock o a través de SageMaker debe considerar técnicas eficientes en parámetros (capas de adaptadores, prompt tuning) para controlar el costo y reducir el riesgo para el comportamiento del modelo base. Para el despliegue, registre los modelos en SageMaker Model Registry, cree un CI/CD con CodePipeline y SageMaker Projects, y sírvalos con SageMaker Endpoints o inferencia sin servidor (serverless) según el tráfico. Los errores comunes incluyen perseguir ganancias marginales en las métricas a un costo desproporcionado, descuidar la calibración y la puntuación de confianza (lo que lleva a activadores de revisión humana frágiles) y no versionar los conjuntos de datos junto con los modelos; incorpore el linaje de los conjuntos de datos en Feature Store y Glue Catalog para mantener la reproducibilidad.

Problema práctico: Escenario de caso de uso

Escenario: FinBank, una empresa de servicios financieros de tamaño mediano, ejecuta modelos en AWS y almacena metadatos de transacciones y clientes en S3 y SageMaker Feature Store. Utilizan Bedrock para un asistente generativo y SageMaker para modelos predictivos.

Desafío: El modelo de predicción de abandono de clientes (churn) muestra una degradación del rendimiento después de una semana con datos de producción, y el equipo necesita un plan controlado para medir la deriva (drift), actualizar el modelo y garantizar el cumplimiento de los requisitos de explicabilidad.

Enfoque recomendado:

Desplegar Amazon SageMaker Model Monitor para capturar distribuciones de características, resúmenes de predicciones y detectar la deriva de covariables y predicciones (covariate and prediction drift) en comparación con el conjunto de datos de referencia (baseline).
Si se detecta deriva, activar un SageMaker Pipeline para ejecutar la validación de datos (Glue y AWS Data Wrangler), reequilibrar o aumentar los datos y crear un trabajo de reentrenamiento utilizando SageMaker Training con ajuste de hiperparámetros de inicio en caliente (Warm-Start).
Antes del despliegue, ejecutar SageMaker Clarify para el análisis de equidad e importancia de características y generar informes de explicabilidad; dirigir las predicciones de baja confianza a los flujos de trabajo de revisión humana de Amazon Augmented AI (A2I).
Registrar el nuevo modelo en SageMaker Model Registry, desplegarlo en un SageMaker Endpoint de tipo canary, y realizar pruebas de tráfico en modo sombra (shadow testing) seguidas de un despliegue por fases con alarmas de CloudWatch para los KPI de negocio.

Justificación: El monitoreo continuo con Model Monitor detecta la deriva de forma temprana; los pipelines automatizados garantizan la reproducibilidad y un reentrenamiento rentable, mientras que Clarify y A2I proporcionan explicaciones de nivel de cumplimiento y supervisión humana alineadas con las mejores prácticas de AWS AI Practitioner.

← Ingeniería de Datos para ML · Todos los dominios · MLOps y Despliegue →

Practica estas preguntas → · Práctica cronometrada en ExamRoll.io →