top of page
Validación Avanzada de Modelos

Día 1: Validación de modelos tradicionales y de Machine Learning

  • Validación Out of Sample y Out of time

  • Verificación p-values en regresiones

  • R cuadrado, MSE, MAD

  • Diagnóstico de los residuos

  • Test de Bondad de Ajuste

    • Deviance

    • Bayesian Information Criterion (BIC)

    • Akaike Information Criterion 

  • Multicolinealidad Multivariante

  • Validación cruzada

  • Bootstrapping del error

  • Matriz de confusión caso binario

  • Matriz de confusión caso multinomial

  • Principales test de poder discriminante

  • KS, Curva ROC, Gini Index, Cumulative Accuracy Profile, Distancia de Kullback-Leibler, Pietra Index, 1-Ph, Entropía condicional, Valor de Información, Tau de Kendall, Brier Score, Divergencia

  • Intervalos de confianza

  • Jackknifing con test de poder discriminante

  • Bootstrapping con test de poder discriminante

  • Estadístico Kappa

  • K-Fold Cross Validation

  • Análisis Semafórico

  • Ejercicio 1: Estimación Gini, Valor de la Información, Brier Score, Curva Lift, CAP, ROC, Divergencia en Excel

  • Ejercicio 2: Bootstrapping de parámetros R

  • Ejercicio 3: Bootstrapping de Gini/ROC en R

  • Ejercicio 4: K-Fold Cross Validation en R

 

Día 2: Explainable Artificial Intelligence XAI

 

  • Problema de interpretabilidad

  • Riesgo de modelo

  • Regulación del Reglamento General de Protección de Datos GDPR

  • EBA discussion paper on machine learning for IRB models

    • 1. El desafío de interpretar los resultados,

    • 2. El desafío de asegurar que las funciones gerenciales entiendan adecuadamente los modelos, y 

    • 3. El desafío de justificar los resultados a los supervisores

  • ​Modelos de caja negra contra algoritmos transparentes e interpretables

  • Herramientas de interpretablidad

  • Shap, Shapley Additive explanations

    • Global Explanations

    • Dependence Plot

    • Decision Plot

    • Local Explanations Waterfall Plot

  • Lime, explicaciones agnósticas del modelo interpretable local

  • Explainer Dashboard

  • Otras herramientas avanzadas 

  • Ejercicio 5: Interpretabilidad XAI del credit scoring

 

Día 3 : Revisión del Tuning de los modelos

  • Hiperparametrización

  • Grid Search

  • Random Search

  • Optimización Bayesiana

  • Train-test split ratio

  • Tasa de aprendizaje en algoritmos de optimización (e.g. gradient descent)

  • Selección de algoritmo de optimización (e.g., gradient descent, stochastic gradient descent, or Adam optimizer)

  • Selección de la función de activación en una red neuronal (nn) layer (e.g. Sigmoid, ReLU, Tanh)

  • Selección de la función de pérdida, coste y personalizada

  • Número de capas ocultas en una NN

  • Number of activation units in each layer

  • The drop-out rate in nn (dropout probability)

  • Number of iterations (epochs) in training a nn

  • Number of clusters in a clustering task

  • Kernel or filter size in convolutional layers

  • Pooling size

  • Batch size

  • Ejercicio 6: Optimización Credit Scoring Xboosting, Random forest y SVM

 

Día 4 : Validación Avanzada de modelos de AI

 

  • Integración de métodos de última generación en aprendizaje automático interpretable y diagnóstico de modelos.

  • Data Pipeline

  • Feature Selection

  • Black-box Models

  • Post-hoc Explainability

  •  Global Explainability

  • Local Explainability

  • Interpretabilidad de Modelos

  • Diagnóstico de modelos

    • Accuracy
    • WeakSpot
    •  Overfit
    •  Reliability
    • Robustness
    • Resilience
    •  Fairness
  • Comparativo de modelos

    o  Comparitivo para la Regresión y Clasificación

    o Fairness Comparison

  • Ejercicio 7: Validación y diagnóstico de modelos avanzados de credit scoring

Validación Avanzada de Modelos

€2,500.00Precio
Impuest