Formación y Consultoría

 

Gestión del Riesgo de Modelo (MRM)

 

Módulo 1: Introducción al riesgo de modelo

 

• Definiciones de riesgo modelo

• Gestión del riesgo modelo

• Definición de modelo

• Fuentes del riesgo modelo

  • ​Data

  • Estimación

  • Uso

• Inventario de modelos de riesgos

• Metodología de control

• Gestión de procesos y tecnología

• Gobernanza

• Gestión del ciclo de vida de los modelos

• Cuantificación del riesgo modelo

• Ciclo de la gestión cuantitativa del riesgo modelo

• Identificación de la fuente

• Mitigación del riesgo modelo

• Documentación de modelos

• Validación de modelos

• Perfil de equipos de riesgo de modelo en entidades financieras

• Estructura y organigrama

• Principales actividades del equipo

• Caso de estudio 1: riesgo de modelo banco europeo

• Caso de estudio 2: riesgo de modelo en modelos de riesgo crédito

 

Módulo 2: Gestión del riesgo de modelo

​

• Gobernanza en el riesgo de modelo

  • Rol del consejo y alta dirección

  • Rol del departamento de riesgos

  • Responsables y creadores del modelo

  • Comités de riesgo de modelo

  • Auditoria interna

  • Definición de políticas

• Organización

  • Tres líneas de defensa

  • Comunicación interna y externa

• Fases del Ciclo de vida del modelo

  • Identificación

  • Inventario de los modelos

  • Clasificación

  • Niveles o"Tiering" en función a materialidad, sofisticación e impacto

  • Planificación y desarrollo

  • Validación interna

  • Documentación

  • Aprobación del modelo

  • Implementación y uso del modelo

  • Monitorización del modelo

  • Mejores prácticas internacionales de gestión del riesgo modelo

• Mitigación del riesgo de modelo

  • Test de calidad del dato

  • Validación y auditoria

  • Benchmarks

  • Pruebas de sensibilidad what-if

  • Stress testing

  • Backtesting

• Model risk appetite

  • Model risk appetite statement

  • Tolerancia al riesgo

• Medición cualitativa del riesgo de modelo

  • Creación del Scorecard de riesgo de modelo

  • Definición de escala y rangos

  • Mejores prácticas internacionales de scorecards

• Caso de estudio 3: Gestión del riesgo de modelo banco europeo

 

Regulación del riesgo de modelo

​

Módulo 3: Directiva sobre la gestión del Riesgo Modelo

SR 11-7 en Estados Unidos

​

• Introducción

• Alcance y propósito

• Model Risk Management

• Desarrollo del modelo, implementación y uso

• La validación del modelo

• Evaluación de la solidez conceptual y pruebas de desarrollo

• Monitorización permanente, verificación de procesos y Benchmarking

• Análisis de los resultados, incluido el Backtesting

• Gobernanza, Políticas y Controles

• Políticas y procedimientos

• Roles y responsabilidades

• Auditoria Interna

• Inventario de modelos

​

Módulo 4: Guide for the Targeted Review of Internal Models

(TRIM) UE

​

• Alcance y objetivos de la guía

• Principios generales de los modelos internos

• Roll-out and PPU

• Gobernanza

• Auditoría interna

• Validación interna

• Uso del modelo

• Gestión en los cambios del modelo

• Calidad del dato

• Participación de terceros

• Riesgo de Crédito

  • ​Probability of default (PD)

  • Loss Given Default (LGD)

  • Credit conversion factor (CCF)

• Riesgo de Mercado

  • Backtesting regulatorio

  • Backtesting interno

  • Metodologías de VaR

• Riesgo de Contraparte

  • Backtesting

• Margen de conservadurismo relacionado con el modelo

• Revisión de las estimaciones

​

Cuantificación del Riesgo de Modelo

​​

​Módulo 5: Medición Cuantitativa del Riesgo de Modelo

​

• La importancia de la cuantificación del riesgo de modelo

• Mejores clasificaciones internacionales

• Modelo óptimo y no óptimo

• Categorías de riesgo de modelo:

• Deficiencia de datos

• Incertidumbre del parámetro del modelo

• Uso inadecuado del modelo

• Especificación del modelo

• Cambio en la dinámica del entorno financiero y económico

• Implementación incorrecta del modelo, mala interpretación de la salida del modelo y otros errores

• Agregación del riesgo de modelo

​

Módulo 6: Modelos para cuantificar el Riesgo de Modelo

​

• ¿Porque sucede este tipo de riesgo de modelo?
• Ejemplos
• Magnitud del error de modelo relacionado con errores humanos

• Medición cualitativa de riesgo de modelo

• Modelo de Scorecard

  • Creación del Scorecard de riesgo de modelo

  • Definición de escala y rangos

  • Mejores prácticas internacionales de scorecards

• Enfoque LDA para medición de Riesgo Modelo

  • Loss Distribution Approach (LDA)

    • Data disponible

  • Scenario Based Approach (SBA)

    • Generación de escenarios

    • Valoración de Escenarios

  • Calidad de los datos y validación

  • Determinación de parámetros

  • Distribuciones de Frecuencia

  • Distribuciones de Severidad

  • Distribución de pérdidas por riesgo de Modelo

    • Simulación Montecarlo

    • Enfoque Panjer

    • FFT

• Enfoque de Incertidumbre de modelo botton-up

  • Fuentes de información

• Ejercicio 1: Estimación de Scorecard de riesgo modelo, establecimiento de la escala y rangos.

• Ejercicio 2: Estimación de Riesgo de Modelo utilizando las siguientes distribuciones de Frecuencia y Severidad:

• Frecuencia

  • Poisson

  • Binomial Negativa

• Severidad

  • Lognormal

  • Burr

  • Gamma

  • Weibull

  • Inversa Gaussiana

  • GDP EVT

  • G-H 4 parámetros

  • Mixtura de Lognormales

  • Lognormal-EVT

  • Poisson-Gamma Enfoque bayesiano

  • Partición Lognormal y GDP

• Escenarios con criterio Experto

• Ejercicio 3: Selección de mejor distribución usando test de bondad de ajustes Cramer Von Misses, AD y KS

• Ejercicio 4: Comparativo de Riesgo de modelo usando Panjer Recursivo, Fast Fourier Transformation y Simulación de Monte Carlo

​​

Credit Scoring y Riesgo de modelo

​

Módulo 7: Validación avanzada de los datos

 

• Tipología de datos

• Datos transaccionales

• Unstructured data embebida en documentos de texto

• Social Media Data

• Fuentes de datos

• Revisión del dato

• Definición del Target

• Horizonte temporal de la variable objetivo

• Muestreo

  • Muestreo Aleatorio

  • Muestreo Estratificado

  • Muestreo Rebalanceado

• Análisis Exploratorio:

  • Histogramas

  • Q-Q Plot

  • Análisis de momentos

  • Box Plot

• Tratamiento de los valores Missing

  • Imputación

  • Borrar

  • Mantener

• Técnicas avanzadas de detección de Outliers y tratamiento

  • Z-Score

  • Distancia de Mahalanobis

• Estandarización de los Datos

• Categorización de variables

  • Equal Interval Binning

  • Equal Frecuency Binning

  • Prueba Ji-Cuadrada

• Binary Coding

• WOE Coding

  • Definición WOE

  • Análisis Univariante con variable Target

  • Selección de variables

  • Tratamiento de Variables continuas

  • Tratamiento de Variables Categóricas

  • Fisher Score

  • Gini

  • Information Value

  • Pearson Correlation

  • Cramer Von Misses

  • Optimización de variables continuas

  • Optimización de variables categóricas

  • Àrboles de Decisión

• Segmentación​

  • ​​Arboles de Decisión

  • K Means Clustering

  • Finite Mixture Model

  • Mixtura gaussiana Univariante

  • Mixtura gaussiana Bivariante

• ​Ejercicio 5: Análisis Exploratorio en R

• Ejercicio 6: Detección y tratamiento de Outliers en R

• Ejercicio 7: Técnicas de imputación de missing en R

• Ejercicio 8: Muestreo estratificado y Aleatorio

• Ejercicio 9: Análisis del Weight of Evidence en Excel

• Ejercicio 10: Análisis univariante en percentiles en R

• Ejercicio 11: Análisis univariante óptimo variable continua en R

• Ejercicio 12: Validación KS, Gini e IV de cada variable en R y Excel

• Ejercicio 14: Optimización de variables categóricas en R

• Ejercicio 15: Análisis Univariante con árboles de decisión en R

• Ejercicio 16: Segmentación usando K means Clustering en R

 

Módulo 8: Modelos multivariantes y Machine Learning

 

• Modelos Multivariantes 

  • Regresión Logística

  • Regresión Cox

  • Riesgo de Modelo

• ​Machine Learning

  • Árboles de decisión

  • Redes Neuronales

  • SVM

  • Ensemble Learning

  • Bagging

  • Boosting

  • Random Forest

• Riesgo Modelo en Machine Learning​

  • Sobreajuste

  • Transparencia

  • Muestreo fallido

  • Variables importantes

• Ejercicio 17: Regresión Logística, método stepwise en R

• Ejercicio 18: Regresión Piecewise en Excel y R

• Ejercicio 19: Árboles de decisión en R

• Ejercicio 20: Support Vector Machine en R

• Ejercicio 21: Redes Neuronales en R

• Ejercicio 22: Ensemble models enR

• Ejercicio 23: Random Forest en R

• Ejercicio 24: Bagging en R

• Ejercicio 26: Comparativo de modelos de poder discriminante entre modelos: Redes Neuronales, Regresión Logística

• Ejercicio 27: Riesgo de Modelo usando Intervalos de confianza de coeficientes de regresión logística 

​

​Módulo 9: Riesgo de Modelo en el Scorecard

 

• Asignación de puntuación

• Clasificación del Scorecard

  • Scorecard WOE

  • Scorecard Binario

  • Scorecard Continuo

• Reescalamiento del Scorecard

  • Análisis del Factor y Offset

  • Scorecard WOE

  • Scorecard Binario

• Técnicas de Reject Inference

  • Cut-Off

  • Parcelling

  • Fuzzy Augmentation

• Técnicas Avanzadas de punto de corte 

  • Optimización del punto de corte usando curvas ROC

• Riesgo de Modelo por decisión de punto de corte

• Riesgo de Modelo por ausencia de datos

• Riesgo de Modelo por no actualizar o recalibrar

• Ejercicio 28: Construcción de Tarjeta de Puntuación en Excel

• Ejercicio 29: Estimación óptima punto de corte en Excel y riesgo modelo por selección punto de corte

• Ejercicio 30: Matriz de confusión para verificar Error Tipo 1 y Tipo 2 en Excel con y sin variables

​

​​

Validación Credit Scoring

​

Módulo 10: Pruebas de estabilidad

​

• Índice de estabilidad en modelo

• Índice de estabilidad en variables

• Test Xi-cuadrada

• Test K-S

• Ejercicio 31: Pruebas de estabilidad de modelos y de factores

 

Módulo 11: Poder Discriminante de modelos tradicionales

y de Machine Learning

​

• Validación Out of Sample y Out of time

• Validación cruzada

• Bootstrapping del error

• Matriz de confusión caso binario

• Matriz de confusión caso multinomial

• Principales test de poder discriminante:

  • KS

  • Curva ROC Binomial

  • Curva ROC Multinomial

  • Curva Lift

  • Gini Index

  • Cumulative Accuracy Profile

  • Distancia de Kullback-Leibler

  • Pietra Index

  • 1-Ph

  • Entropía condicional

  • Valor de Información

  • Divergencia

• Intervalos de confianza

• Jackknifing

• Bootstrapping

• Estadístico Kappa

• K-Fold Cross Validation

• Análisis Semafórico

• Ejercicio 32: Estimación Gini, Valor de la Información, Brier Score, Curva Lift, CAP, ROC, Divergencia en SAS y Excel

• Ejercicio 33: Jackkinifng

• Ejercicio 34: Bootstrapping

• Ejercicio 35: Estimación Kappa

• Ejercicio 36: K-Fold Cross Validation en R

• Ejercicio 37: Validación semafórica out of time (horizonte 6 años) de modelos Logístico y de Machine Learning

​

Módulo 12: Riesgo de Modelo del Credit Scoring

​

• ¿Porque sucede este tipo de riesgo de modelo?
• Ejemplos
• Magnitud del error de modelo cuando se usa un modelo no óptimo
• Uso de What-if para medir el riesgo de modelo
• Uso de Simulación para medir el riesgo de modelo

• Ejercicio 38: Aplicación de herramienta de credit scoring en un horizonte de 2 años sin actualizar la data 

• Ejercicio 39: Medición del riesgo de modelo a través del error tipo 1 y tipo 2 y la pérdida por aceptar malos y el coste de oportunidad de denegar buenos

​​

 

Inteligencia Artificial Explicable

​

Módulo 14: Explainable Artificial Intelligence XAI

 

• Problema de interpretabilidad

• Riesgo de modelo

• Regulación del Reglamento General de Protección de Datos GDPR

• EBA discussion paper on machine learning for IRB models

  • 1. El desafío de interpretar los resultados,

  • 2. El desafío de asegurar que las funciones gerenciales entiendan adecuadamente los modelos, y 

  • 3. El desafío de justificar los resultados a los supervisores

• ​Modelos de caja negra contra algoritmos transparentes e interpretables

• Herramientas de interpretablidad

• Shap, Shapley Additive explanations

  • Global Explanations

  • Dependence Plot

  • Decision Plot

  • Local Explanations Waterfall Plot

• Lime, explicaciones agnósticas del modelo interpretable local

• Explainer Dashboard

• Otras herramientas avanzadas 

• Ejercicio 40: Interpretabilidad XAI del credit scoring

​

Automatización de la Construcción de Modelos con Inteligencia Artificial

​

Módulo 15: Automatización de la Modelización 

 

• ¿ Que es la automatización de la modelización?

• Que se automatiza

• Automatización de los procesos de machine learning

• Optimizadores y evaluadores

• Componentes del Workflow de la automatización de la modelización

  • Resumen

  • Procesado

  • Feature engineering

  • Generación del modelo

  • Evaluación

• Optimización de hiperparámetros

• Reconstrucción o recalibración del credit scoring

• Modelización del Credit Scoring

  • Principales hitos

  • Evaluación y optimización

  • Posibles Issues

• Modelización de la calibración de la PD 

  • Evaluación y optimización

  • Backtesting

  • Poder Discriminante

  • Pruebas de Estabilidad

• Evaluación global de la automatización de la modelización

• Implementación de la automatización de la modelización en banca

• Requerimientos tecnológicos

• Herramientas disponibles

• Beneficios y posible estimación del ROI

• Principales Issues

• Riesgo de Modelo

• Ejercicio 41: Automatización de la modelización y optimización y validación de  hiperparametría del credit scoring

​

 

 

 

 

​

 

​

 

 

 

​

​