Formación y Consultoría

INTRODUCCIÓN RIESGO DE MODELO

 

Módulo 1: Gestión del Riesgo Modelo y Cuantificación

 

• Definiciones de riesgo modelo

• Gestión del riesgo modelo

• Definición de modelo

• Fuentes del riesgo modelo

  • ​Data

  • Estimación

  • Uso

• Inventario de modelos de riesgos

• Metodología de control

• Gestión de procesos y tecnología

• Gobernanza

• Gestión del ciclo de vida de los modelos

• Cuantificación del riesgo modelo

• Ciclo de la gestión cuantitativa del riesgo modelo

• Identificación de la fuente

• Mitigación del riesgo modelo

• Documentación de modelos

• Validación de modelos

• Perfil de equipos de riesgo de modelo en entidades financieras

• Estructura y organigrama

• Principales actividades del equipo

• ¿como realizar un inventario de modelos?

• COVID-19

  • Impacto del COVID-19 en el riesgo de crédito

  • Impacto del COVID-19 en el riesgo de modelo

  • Principales fallos en los modelos de riesgo crédito

  • Generación de modelos de riesgo crédito Post-COVID-19

• Caso de estudio 1: riesgo de modelo banco europeo

• Caso de estudio 2: riesgo de modelo en modelos de riesgo crédito

 

IMPLEMENTACIÓN DEL RIESGO DE MODELO 

 

Módulo 2: PROCESO DE RIESGO MODELO

​

• Proceso de validación de modelos

• Definición del objetivo y metodología del modelo

• Revisión de las memorias del modelo

• Plan de validación

• Conclusiones de la validación

• Subriesgos del riesgo de modelo:

  • Riesgo de modelo en los datos

  • Riesgo de modelo en la metodología

  • Riesgo de modelo en la implementación

  • Riesgo en los resultados del modelo 

• Gobernanza del modelo

• Controles en cada nivel de subriesgo

• Análisis y validación de la documentación del modelo

• Proposito del modelo

• Data

• Diseño y metodología

• Especificación y estimación

• Pruebas

• Implementación

• Monitorización

• Controles operacionales

• Reporting

• Cuadro de mando

• Soluciones y tecnología necesaria para la gestión del riesgo de modelo

• Caso de estudio 3: Gestión del riesgo de modelo para modelos de riesgo de crédito, validación y revisión de documentación

​

​

REGULACIÓN DEL RIESGO DE MODELO UE y EEUU

​

Módulo 3: Directiva sobre la gestión del Riesgo Modelo

SR 11-7 en USA

​

• Introducción

• Alcance y propósito

• Model Risk Management

• Desarrollo del modelo, implementación y uso

• La validación del modelo

• Evaluación de la solidez conceptual y pruebas de desarrollo

• Monitorización permanente, verificación de procesos y Benchmarking

• Análisis de los resultados, incluido el Backtesting

• Gobernanza, Políticas y Controles

• Políticas y procedimientos

• Roles y responsabilidades

• Auditoria Interna

• Inventario de modelos

​

Módulo 4: Guide for the Targeted Review of Internal Models (TRIM) UE

• Alcance y objetivos de la guía

• Principios generales de los modelos internosRoll-out and PPU

• Gobernanza

• Auditoría interna

• Validación interna

• Uso del modelo

• Gestión en los cambios del modelo

• Calidad del dato

• Participación de terceros

• Riesgo de Crédito

  • Alcance de la guía de riesgo crédito

  • Requerimientos de datos

• Probability of default (PD)

  • Estructura de los modelos de PD

  • Principales drivers

  • Distribución de los pools

  • Filosofia del Rating

  • Cálculo de la tasa de default

  • Cálculo de PD media a largo plazo

• Loss Given Default (LGD)

• Credit conversion factor (CCF)

• Margen de conservadurismo relacionado con el modelo

• Revisión de las estimaciones

​

RIESGO DE MODELO

 

Módulo 5: Validación de Modelos en la práctica

 

• Lecciones aprendidas en la crisis financiera sobre validación​

• Validation Framework

• Definición de Validación

• Principios de validación

• Roles y Responsabilidades

• Alcance y frecuencia

• Proceso de Validación

• Gobernanza Interna

• Validación de Modelos IRB

• Validación Cualitativa

  • Model Design

  • Data Quality

  • Use Test

• Validación Cuantitativa

  • Backtesting

  • Poder Discriminante

  • Pruebas de Estabilidad

• Infraestructura tecnológica​

• Documentación Requerida

• Departamento y equipo de validación interna

• Departamento  y equipo de Auditoria

• Inteligencia Artificial​

  • Validación, reconstrucción y recalibración autónoma 

  • Validación de Modelos usando Machine Learning 

  • Inteligencia artificial para riesgo de modelo

  • Inteligencia artificial para validar modelos

​​

​​

Módulo 6: Gestión del Riesgo de Modelo

​

• Gobernanza en el riesgo de modelo

  • Rol del consejo y alta dirección

  • Rol del departamento de riesgos

  • Responsables y creadores del modelo

  • Comités de riesgo de modelo

  • Auditoria interna

  • Definición de políticas

• Organización

  • Tres líneas de defensa

  • Comunicación interna y externa

• Fases del Ciclo de vida del modelo

  • Identificación

  • Inventario de los modelos

  • Clasificación

  • Niveles o"Tiering" en función a materialidad, sofisticación e impacto

  • Planificación y desarrollo

  • Validación interna

  • Documentación

  • Aprobación del modelo

  • Implementación y uso del modelo

  • Monitorización del modelo

  • Mejores prácticas internacionales de gestión del riesgo modelo

• Mitigación del riesgo de modelo

  • Test de calidad del dato

  • Validación y auditoria

  • Benchmarks

  • Pruebas de sensibilidad what-if

  • Stress testing

  • Backtesting

• Model risk appetite

  • Model risk appetite statement

  • Tolerancia al riesgo

• Medición cualitativa del riesgo de modelo

  • Creación del Scorecard de riesgo de modelo

  • Definición de escala y rangos

  • Mejores prácticas internacionales de scorecards

• Caso de estudio: Scorecard para riesgo de modelo

 

RIESGO DE MODELO EN EL

CREDIT RATING Y SCORING

 

Módulo 7: Riesgo de modelo en rating y scoring

​

• Dimensión y uso de la materialidad

• Clasificación de modelos de scoring por importancia dentro de la entidad financiera

• Impacto del modelo en la entidad

• Dependencia del modelo 

• Limitaciones del modelo

• Gobernanza del modelo

• Documentación y revisión

• Implementación 

• Controles operativos

• Árbol de decisión para valorar modelos de rating y scoring

• Casuística en modelos de Credit Rating expertos

• Casuística en modelos de credit scoring estadísticos

• Riesgo modelo en el big data

• Riesgo modelo por machine learning y black box

​

Construcción del Credit Scoring y análisis

del riesgo de modelo

​

Módulo 8: Validación avanzada de los datos

 

• Tipología de datos

• Datos transaccionales

• Unstructured data embebida en documentos de texto

• Social Media Data

• Fuentes de datos

• Revisión del dato

• Definición del Target

• Horizonte temporal de la variable objetivo

• Muestreo

  • Muestreo Aleatorio

  • Muestreo Estratificado

  • Muestreo Rebalanceado

• Análisis Exploratorio:

  • Histogramas

  • Q-Q Plot

  • Análisis de momentos

  • Box Plot

• Tratamiento de los valores Missing

  • Imputación

  • Borrar

  • Mantener

• Técnicas avanzadas de detección de Outliers y tratamiento

  • Z-Score

  • Distancia de Mahalanobis

• Estandarización de los Datos

• Categorización de variables

  • Equal Interval Binning

  • Equal Frecuency Binning

  • Prueba Ji-Cuadrada

• Binary Coding

• WOE Coding

  • Definición WOE

  • Análisis Univariante con variable Target

  • Selección de variables

  • Tratamiento de Variables continuas

  • Tratamiento de Variables Categóricas

  • Fisher Score

  • Gini

  • Information Value

  • Pearson Correlation

  • Cramer Von Misses

  • Optimización de variables continuas

  • Optimización de variables categóricas

  • Àrboles de Decisión

• Segmentación

  • Decisión Experta

  • Estadística

    • Àrboles de Decisión

    • K Means Clustering

    • Finite Mixture Model

    • Mixtura gaussiana Univariante

    • Mixtura gaussiana Bivariante

• ​Ejercicio 1: Análisis Exploratorio en R

• Ejercicio 2: Detección y tratamiento de Outliers en R

• Ejercicio 3: Técnicas de imputación de missing en R

• Ejercicio 4: Muestreo estratificado y Aleatorio

• Ejercicio 5: Análisis del Weight of Evidence en Excel

• Ejercicio 6: Análisis univariante en percentiles en R

• Ejercicio 7: Análisis univariante óptimo variable continua en R

• Ejercicio 8: Validación KS, Gini e IV de cada variable en R y Excel

• Ejercicio 9: Optimización de variables categóricas en R

• Ejercicio 10: Análisis Univariante con árboles de decisión en R

• Ejercicio 11: Segmentación usando K means Clustering en R

 

Módulo 9: Modelos multivariantes y Machine Learning

 

• Modelos Multivariantes 

  • Regresión Logística

  • Regresión Cox

  • Riesgo de Modelo

• ​Machine Learning

  • Árboles de decisión

  • Redes Neuronales

  • SVM

  • Ensemble Learning

  • Bagging

  • Boosting

  • Random Forest

• Riesgo Modelo en Machine Learning​

  • Sobreajuste

  • Transparencia

  • Muestreo fallido

  • Variables importantes

• Ejercicio 12: Regresión Logística, método stepwise en R

• Ejercicio 14: Regresión Piecewise en Excel y R

• Ejercicio 15: Árboles de decisión en R

• Ejercicio 16: Support Vector Machine en R

• Ejercicio 17: Redes Neuronales en R

• Ejercicio 18: Ensemble models enR

• Ejercicio 19: Random Forest en R

• Ejercicio 20: Bagging en R

• Ejercicio 23: Comparativo de modelos de poder discriminante entre modelos: Redes Neuronales, Regresión Logística, Regresión Logística Panel Data y Regresión Cox

• Ejercicio 24: Riesgo de Modelo usando Intervalos de confianza de coeficientes de regresión logística 

​

​Módulo 10: Riesgo de Modelo en el Scorecard

 

• Asignación de puntuación

• Clasificación del Scorecard

  • Scorecard WOE

  • Scorecard Binario

  • Scorecard Continuo

• Reescalamiento del Scorecard

  • Análisis del Factor y Offset

  • Scorecard WOE

  • Scorecard Binario

• Técnicas de Reject Inference

  • Cut-Off

  • Parcelling

  • Fuzzy Augmentation

• Técnicas Avanzadas de punto de corte 

  • Optimización del punto de corte usando curvas ROC

• Riesgo de Modelo por decisión de punto de corte

• Riesgo de Modelo por ausencia de datos

• Riesgo de Modelo por no actualizar o recalibrar

• Ejercicio 21: Construcción de Tarjeta de Puntuación en Excel

• Ejercicio 22: Estimación óptima punto de corte en Excel y riesgo modelo por selección punto de corte

• Ejercicio 23: Matriz de confusión para verificar Error Tipo 1 y Tipo 2 en Excel con y sin variables

• Ejercicio 24: Riesgo de modelo en credit scoring por no recalibrar a tiempo

​

Validación de modelos de Credit Scoring

​

Módulo 11: Pruebas de estabilidad

​

• Índice de estabilidad en modelo

• Índice de estabilidad en factores

• Test Xi-cuadrada

• Test K-S

• Ejercicio 25: Pruebas de estabilidad de modelos y de factores

 

Módulo 12: Validación de modelos tradicionales y de Machine Learning

​

• Validación Out of Sample y Out of time

• Verificación p-values en regresiones

• R cuadrado, MSE, MAD

• Diagnóstico de los residuos

• Test de Bondad de Ajuste

  • Deviance

  • Bayesian Information Criterion (BIC)

  • Akaike Information Criterion 

• Multicolinealidad Multivariante

• Validación cruzada

• Bootstrapping del error

• Matriz de confusión caso binario

• Matriz de confusión caso multinomial

• Principales test de poder discriminante:

  • KS, Curva ROC, Gini Index, Cumulative Accuracy Profile, Distancia de Kullback-Leibler, Pietra Index, 1-Ph, Entropía condicional, Valor de Información, Tau de Kendall, Brier Score, Divergencia

• Intervalos de confianza

• Jackknifing con test de poder discriminante

• Bootstrapping con test de poder discriminante

• Estadístico Kappa

• K-Fold Cross Validation

• Análisis Semafórico

• Ejercicio 26: Validación cruzada en R

• Ejercicio 27: Estimación Gini, Valor de la Información, Brier Score, Curva Lift, CAP, ROC, Divergencia en Excel

• Ejercicio 28: Bootstrapping de parámetros R

• Ejercicio 29: Bootstrapping de Gini/ROC en R

• Ejercicio 30: Estimación Kappa

• Ejercicio 31: K-Fold Cross Validation en R

• Ejercicio 32: Validación semafórica out of time (horizonte 6 años) de modelos Logístico y de Machine Learning

 

Automatización de la Construcción y Calibración

de Modelos con Inteligencia Artificial

​

Módulo 14: Automatización de la Construcción y Calibración 

 

• ¿ Que es la automatización de la modelización?

• Que se automatiza

• Automatización de los procesos de machine learning

• Optimizadores y evaluadores

• Componentes del Workflow de la automatización de la modelización

  • Resumen

  • Procesado

  • Feature engineering

  • Generación del modelo

  • Evaluación

• Optimización de hiperparámetros

• Reconstrucción o recalibración del credit scoring

• Modelización del Credit Scoring

  • Principales hitos

  • Evaluación y optimización

  • Posibles Issues

• Modelización de la calibración de la PD 

  • Evaluación y optimización

  • Backtesting

  • Poder Discriminante

  • Pruebas de Estabilidad

• Evaluación global de la automatización de la modelización

• Implementación de la automatización de la modelización en banca

• Requerimientos tecnológicos

• Herramientas disponibles

• Beneficios y posible estimación del ROI

• Principales Issues

• Riesgo de Modelo

• Ejercicio 33: Automatización de la modelización y optimización y validación de  hiperparametría del credit scoring

 

Inteligencia Artificial Explicable

​

Módulo 15: Explainable Artificial Intelligence XAI

 

•  Problema de interpretabilidad

• Riesgo de modelo

• Regulación del Reglamento General de Protección de Datos GDPR

• EBA discussion paper on machine learning for IRB models

  • 1. El desafío de interpretar los resultados,

  • 2. El desafío de asegurar que las funciones gerenciales entiendan adecuadamente los modelos, y

  • 3. El desafío de justificar los resultados a los supervisores

• ​Modelos de caja negra contra algoritmos transparentes e interpretables

• Herramientas de interpretablidad

• Shap, Shapley Additive explanations

  • Global Explanations

  • Dependence Plot

  • Decision Plot

  • Local Explanations Waterfall Plot

• Lime, explicaciones agnósticas del modelo interpretable local

• Explainer Dashboard

• Otras herramientas avanzadas 

• Ejercicio 34: Interpretabilidad XAI del credit scoring