Machine Learning en NMD

​

Module 1: Machine Learning in NMD​

 

• Definition of Machine Learning

• Machine Learning Methodology

  • Data Storage

  • Abstraction

  • Generalization

  • Assessment

• Supervised Learning

• Unsupervised Learning

• Reinforcement Learning

• deep learning

• Typology of Machine Learning algorithms

• Steps to Implement an Algorithm

  • information collection

  • Exploratory Analysis

  • Model Training

  • Model Evaluation

  • Model improvements

  • Machine Learning in consumer credit risk

• Machine Learning in credit scoring models

• Quantum Machine Learning

​

Module 2: EDA Exploratory Analysis

​

• Data typology

• transactional data

• Unstructured data embedded in text documents

• Social Media Data

• data sources

• Data review

• Target definition

• Time horizon of the target variable

• Sampling

  • Random Sampling

  • Stratified Sampling

  • Rebalanced Sampling

• Exploratory Analysis:

  • histograms

  • Q Q Plot

  • Moment analysis

  • boxplot

• Treatment of Missing values

  • Multivariate Imputation Model

• Advanced Outlier detection and treatment techniques

  • Univariate technique: winsorized and trimming

  • Multivariate Technique: Mahalanobis Distance

• ​Exercise 1: EDA Exploratory Analysis​

​

Module 3: Feature Engineering​

​

• Data Standardization

• Variable categorization

  • Equal Interval Binning

  • Equal Frequency Binning

  • Chi-Square Test

• binary coding

• Binning

  • Kind of transformation

  • Univariate Analysis with Target variable

  • Variable Selection

  • Treatment of Continuous Variables

  • Treatment of Categorical Variables

  • Gini

  • Information Value

  • Optimization of continuous variables

  • Optimization of categorical variables

• Exercise 2: Detection and treatment of Advanced Outliers

• Exercise 3: Stratified and Random Sampling in R

• Exercise 4: Multivariate imputation model

• Exercise 5: Univariate analysis in percentiles in R

• Exercise 6: Continuous variable optimal univariate analysis in Excel

• Exercise 7: Estimation of the KS, Gini and IV of each variable in Excel

• Exercise 8: Feature Engineering of variables

​

Unsupervised Learning

​

Module 4: Unsupervised models

​

• Hierarchical Clusters

• K Means

• standard algorithm

• Euclidean distance

• Principal Component Analysis (PCA)

• Advanced PCA Visualization

• Eigenvectors and Eigenvalues

• Exercise 9: Segmentation of the data with K-Means R

 

Supervised Learning

​

Module 5: Machine Learning

 

• Econometric Models

  • Logit regression

  • probit regression

  • Piecewise Regression

  • survival models

• Machine Learning Models

  • Lasso Regression

  • Ridge Regression

• Model Risk in Logistic Regression

• Decision Trees​

• K-Nearest Neighbors KNN​

• Probabilistic Model: Naive Bayes​

• Support Vector Classification​

• Ensemble Learning

  • ​Classification and regression ensemble models

  • bagging

  • bagging trees

  • Random Forest

  • Boosting

  • adaboost

  • Gradient Boosting Trees

  • xgboost

  • Advantages and disadvantages

• Exercise 10: Lasso Logistic Regression in R

• Exercise 11: Ridge Regression in R

• Exercise 12: KNN and PCA​​​

• Exercise 14: Support Vector Machine in R​​

• Exercise 15:  Boosting in R

• Exercise 16: Bagging in R

• Exercise 17: Random Forest, R and Python

• Exercise 18:  Gradient Boosting Trees

​

​Deep Learning

​​

Module 6: Deep Learning Feed Forward Neural Networks

​

• Single Layer Perceptron

• Multiple Layer Perceptron

• Neural network architectures

• activation function

  • sigmoidal

  • Rectified linear unit (Relu)

  • The U

  • Selu

  • hyperbolic hypertangent

  • Softmax

  • other

• Back propagation

  • Directional derivatives

  • gradients

  • Jacobians

  • Chain rule

  • Optimization and local and global minima

• Exercise 19: Deep Learning Feed Forward

​

Module 7: Deep Learning Convolutional Neural Networks CNN

​

• CNN for pictures

• Design and architectures

• convolution operation

• descending gradient

• filters

• strider

• padding

• Subsampling

• pooling

• fully connected

• Exercise 20: deep learning CNN

​

Module 8: Deep Learning Recurrent Neural Networks RNN

​

• Natural Language Processing

• Natural Language Processing (NLP) text classification

• Long Term Short Term Memory (LSTM)

• Hopfield

• Bidirectional associative memory

• descending gradient

• Global optimization methods

• One-way and two-way models

• Deep Bidirectional Transformers for Language Understanding ​

• Exercise 21: Deep Learning LSTM

​

Module 9: Generative Adversarial Networks (GANs)

 

• Generative Adversarial Networks (GANs)

• Fundamental components of the GANs

• GAN architectures

• Bidirectional GAN

• Training generative models

• Exercise 22: Deep Learning GANs

​

Module 10: Tuning Hyperparameters

​

• Hyperparameterization

• Grid search

• Random search

• Bayesian Optimization

• Train test split ratio

• Learning rate in optimization algorithms (e.g. gradient descent)

• Selection of optimization algorithm (e.g., gradient descent, stochastic gradient descent, or Adam optimizer)

• Activation function selection in a (nn) layer neural network (e.g. Sigmoid, ReLU, Tanh)

• Selection of loss, cost and custom function

• Number of hidden layers in an NN

• Number of activation units in each layer

• The drop-out rate in nn (dropout probability)

• Number of iterations (epochs) in training a nn

• Number of clusters in a clustering task

• Kernel or filter size in convolutional layers

• Pooling size

• Batch size

• Exercise 23: Optimization Xboosting, Random forest and SVM

• Exercise 24: Optimized Deep Learning

​

Probabilistic Machine Learning 

 

Module 11: Probabilistic Machine Learning

​​

• Introduction to probabilistic machine learning

• Gaussian models

• Bayesian Statistics

• Bayesian logistic regression

• Kernel family

• Gaussian processes

  • Gaussian processes for regression

• Hidden Markov Model

• Markov chain Monte Carlo (MCMC)

  • Metropolis Hastings algorithm

• Machine Learning Probabilistic Model

• Bayesian Boosting

• Bayesian Neural Networks

• Exercise 25: Gaussian process for regression

• Exercise 26: Bayesian Neural Networks

​

Model Validation

​

Module 12: Validation of traditional

and Machine Learning models

​

• Model validation

• Validation of machine learning models

• Regulatory validation of machine learning models in Europe

• Out of Sample and Out of time validation

• Checking p-values in regressions

• R squared, MSE, MAD

• Waste diagnosis

• Goodness of Fit Test

• multicollinearity

• Binary case confusion matrix

• K-Fold Cross Validation

• Diagnostico del modelo

• Exercise 27: Validación avanzada de la regression

• Exercise 28: Diagnostico de la regresión

• Exercise 29: K-Fold Cross Validation in R

​

Module 14: Validación Avanzada de modelos de AI

 

• Integración de métodos de última generación en aprendizaje automático interpretable y diagnóstico de modelos.

• Data Pipeline

• Feature Selection

• Black-box Models

• Post-hoc Explainability

•  Global Explainability

• Local Explainability

• Interpretabilidad de Modelos

• Diagnóstico: Accuracy, WeakSpot, Overfit, Reliability, Robustness, Resilience, Fairness

• Comparativo de modelos

  • Comparativo para la Regresión y Clasificación

  • Fairness Comparison

• Ejercicio 30: Validación y diagnóstico de modelos avanzados 

• Ejercicio 31: Comparativo de modelos avanzados

​​​

Explainable Artificial Intelligence

​

Module 15: Explainable Artificial Intelligence XAI

 

• interpretability problem

• Machine learning models

  • 1. The challenge of interpreting the results,

  • 2. The challenge of ensuring that management functions adequately understand the models, and

  • 3. The challenge of justifying the results to supervisors

• ​Black Box Models vs. Transparent and Interpretable Algorithms

• interpretability tools

• Shap, Shapley Additive explanations

  • Global Explanations

  • Dependency Plot

  • Decision Plot

  • Local Explanations Waterfall Plot

• Lime, agnostic explanations of the local interpretable model

• Explainer Dashboard

• Other advanced tools

• Exercise 32: XAI interpretability of a model

 

Generative Artificial Intelligence

​

Module 16: Generative AI

​​

​

• Introducing generative AI

• What is Generative AI?

• Generative AI Models

  • Generative Pre- trained Transformer (GPT)

  • Llama 2

  • PaLM2

  • DALL-E

• Text generation

• Image generation

• Music generation

• Video generation

• Generating text

• Generating Code

• Ability to solve logic problems

• Generating Music

• Enterprise Use Cases for Generative AI

• Overview of Large Language Models (LLMs)

  • Transformer Architecture

  • Types of LLMs

  • Open-Source vs. Commercial LLMs

  • Key Concepts of LLMs

• Prompts

• Tokens

• Embeddings

• Model configuration

• Prompt Engineering

• Model adaptation

• Emergent Behavior

• Specifying multiple Dataframes to ChatGPT

• Debugging ChatGPT’s code
  Human errors

• Exercise 33: Embeddings for words, sentences, question answers

• Exercise 34: Embedding Visualization

• Exercise 35: First let's prepare the data for visualization

• Exercise 36: PCA (Principal Component Analysis)

• Exercise 37: Embeddings on Large Dataset

• Exercise 38: Prompt engineering

• Exercise 39: Advanced Prompting Techniques

• Exercise 40: Large Language Models (LLMs)

• Exercise 41: Retrieval Augmented Generation

• Exercise 42: Traditional KMeans to LLM powered KMeans

• Exercise 43: Cluster Visualization

• Exercise 44: Semantic Search

• Exercise 45: Tokens and Words

• Exercise 46: Tokenization in Programming Languages



Quantum Computing

​

Module 17: Quantum computing and algorithms

  

​

• Future of quantum computing in insurance

• Is it necessary to know quantum mechanics?

• QIS Hardware and Apps

• quantum operations

• Qubit representation

• Measurement

• Overlap

• matrix multiplication

• Qubit operations

• Multiple Quantum Circuits

• Entanglement

• Deutsch Algorithm

• Quantum Fourier transform and search algorithms

• Hybrid quantum-classical algorithms

• Quantum annealing, simulation and optimization of algorithms

• Quantum machine learning algorithms

• Exercise 47: Quantum operations multi-exercises​​

​

​Module 18: Quantum Computing II

 

• Quantum programming

• Solution Providers​

• Main Algorithms

  • Grover's algorithm

  • Deutsch–Jozsa algorithm

  • Fourier transform algorithm

  • Shor's algorithm

• Quantum annealers

• D-Wave implementation

• Qiskit Implementation

• Exercise 48: Quantum Circuits, Grover Algorithm Simulation, Fourier Transform and Shor​

​

​

Module 19: Quantum Machine Learning

​

• Quantum Machine Learning

• hybrid models

• Quantum Principal Component Analysis

• Q means vs. K means

• Variational Quantum Classifiers

• Variational quantum classifiers

• Quantum Neural Network

  • Quantum Convolutional Neural Network

  • Quantum Long Short Memory LSTM

• Quantum Support Vector Machine (QSVC)

• Exercise 49: Quantum Support Vector Machine​

 

​Module 20: Tensor Networks for Machine Learning

 

• What are tensor networks?

• Quantum Entanglement

• Tensor networks in machine learning

• Tensor networks in unsupervised models

• Tensor networks in SVM

• Tensor networks in NN

• NN tensioning

• Application of tensor networks in credit scoring models

• Exercise 50: Neural Network using tensor networks

 

IRRBB y NMD en Basilea IV 

​

Módulo 21: IRRBB y NMD

​

• Definición del IRRBB

• Subtipos de riesgo:

  • Gap Risk

  • Basis Risk

  • Option Risk

• Credit Spread Risk en el Banking Book

• Valor Económico y medidas basadas en ingresos

• Principios del IRRBB

• Principios para bancos

  • Expectativas

  • Metodología de gestión del riesgo

  • Delegación

  • Política de límites

  • Definición de Valor Económico, visión dinámica 

  • Shocks de tipo de interés y escenarios de estrés. 

  • Modelos de comportamiento

  • Prepago

  • Depósitos sin vencimiento definido

  • Sistemas de medición

  • Integridad de los datos

  • Modelo de gobernanza

• Principios para Supervisores

  • Valoración

  • Recursos

  • Cooperación supervisora

• Alcance y timeline

• Implementación

• Enfoque Estándar IRRBB​

• Metodología del enfoque estandar

• Componentes

• Cash Flow Bucketing

• Proceso para posiciones que son susceptibles de estandarización

• Tratamiento de depósitos sin vencimiento definido

  • Categorías

  • Separación

  • Caps sobre los core deposits

• Tratamiento de posiciones con opcionalidades

• Non-Maturity Deposits en IRRBB de Basilea III

•  Préstamos con tasa fija sujetos al prepago

• Depósitos a plazo con riesgo de rescate

• Add-on para opciones automáticas de tipo de interés

• Medida de riesgo del EVE estandarizado

•  Interest rate risks for banking book (IRRBB) supervisory outlier tests SOT

• Ejercicio 51: Ejercicio medición de riesgo de tipo de interés

  • Cash flow bucketing

  • Tratamiento de depósitos sin vencimiento definido

  • Tratamiento de opcionalidades, prepago.

  • EVE estandarizado

  • Comparativo de EVE estandarizado frente a modelo interno IRRBB de valor económico 

  • Revisión Supervisory outlier test SOT 

​

​

Módulo 22: SOFR / €STER Yield Curve

​

• Dual Bootsrapping

• Multi curvas yield curve

• Calibración y optimización 

• Nuevos instrumentos para SOFR USD

• Libor vs ARR Rates

• Nuevos riesgos para gestionar

• Curva de calibración singular

• Calibración global Interpolación

• Modelo de Optimización

• Multi-dimensional Newton-Raphson solver

• Uso de Jacobianos para recalibración

• Selección de instrumentos para la calibración Instrumentos ARR

• Pasos para la calibración del Yield Curve

• Requerimientos para lograr una adecuada calibración

• Ejercicio 52: Estimación multicurva y optimización con matrices de jacobianos en Python

• Ejercicio 53: Optimización con Jacobianos usando Multi- dimensional Newton- Raphson solver

• Ejercicio 54: Estimación curva singular

• Ejercicio 55: Estimación multicurva con matrices de jacobianos

• Ejercicio 56: Estimación curva SOFR 

​

Módulo 23: Cálculo del EVE y EAR

 

• Yield Curve Stress test

• Basis Risk Stress Test

• Componentes Principales (PCA) 

• Simulación de Monte Carlo

• Simulación de modelos estocásticos: CIR, Vacicek,HJM, etc.

• Gap de repreciación

• Simulación de Margen Financiero  (EaR)

• Metodología del Capital at Risk

• Medición del Valor Económico de RRPP (EVE)

• Valor Económico y capital bajo el ICAAP

• Límites de gap análisis

• Límites de sensibilidad del NII y del valor patrimonial

• Ejercicio 57: Gap de Repreciación en R

• Ejercicio 58: Estimación del EVE y EAR ajustado a criterios del IRRBB de Basilea III 

• Ejercicio 59: Estimación de EVE usando yield curve stress, basis risk stress y comportamiento del Cliente 

​

Modelos de Comportamiento

​

Módulo 24: Metodologías para los modelos de

comportamiento NMD

 

• Marco regulatorio de Basilea IV IRRBB

• Condiciones actuales del mercado, el entorno competitivo y factores macroeconómicos

• Calidad de datos

• Análisis de la longitud y frecuencia de las series temporales

• Parametrización de modelos estocásticos

• Calibración

• Calidad de los datos y complejidad del modelo

• Estimación de la vida promedio de los depósitos sin vencimiento

• La liquidez y el perfil de riesgo de tasa de interés

• Modelos alternativos

• Análisis de los depósitos banco SVB y otros bancos de EEUU

 

Módulo 25: Modelización de pasivos sin vencimiento definido

 

• Depósitos estables e inestables

• Non Maturity Deposits (NMD) en Basilea IV

• Modelos estadísticos de pasivos

• Tranchas por volatilidad de depósitos

• Modelo Portfolio Replica y optimización

• Modelo Option-Adjusted Spread

• Modelo experto para definir depósitos estables

• Estimación del Cash Flow en el margen financiero y valor económico

• Ejercicio 60: Modelo econométrico y simulación de pasivos sin vencimiento en Excel

• Ejercicio 61: Tranchas de depósitos estables e inestables en Excel

• Ejercicio 62: Enfoque de portfolio replica 

• Ejercicio 63: Modelo avanzado de NMD econométrico con pruebas de cointegración y metodología de portfolio replica 

 

Módulo 26: Modelización del NMD con procesos estocásticos

 

• Modelización con el Ornstein-Uhlenbeck framework

• Sistema de ecuaciones de Ornstein-Uhlenbeck impulsado por procesos de Lévy

• Factores dinámicos

• Aplicación del riesgo de liquidez

• Stress testing con parámetros

• Estimación de Run-Off

• Ejercicio 64: Modelo NMD usando sistema de ecuaciones de Ornstein-Uhlenbeck 

• Ejercicio 65: Generative AI para modelo de NMD usando procesos estocásticos 

 

Módulo 27: Modelización del NMD con AI y econometría​​

​​

• ​Machine Learning for NMD Forecasting

• Multivariate Models

  • Autoregressive Vector VAR Models

  • ARCH Models

  • GARCH Models

  • Multivariate GARCH Models Copulas

  • Vector Error Correction VEC models

  • Johansen Method

• Machine Learning ​​

  • ​Multivariate Adaptive Regression Splines

  • Xgboost

• Deep Learning

  • Redes Neuronales Recurrentes RNN

  • Red Neuronal de Elman

  • Red Neuronal de Jordan

  • Estructura básica de RNN

  • Long short term memory LSTM

  • Gated Recurrent Units GRU

  • Modelos híbridos 

  • CNN + LSTM

  • TCN + LSTM/GRU

• Bayesian Deep Learning

• • Bayesian Long short term memory LSTM

• Advanced Forecasting

  • DeepAR 

    • Deep Learning

    • Probabilistic Forecasting

  • Transformer Model​

• Quantum Machine Learning 

  • Quantum Neural Network
  • Quantum Long short term memory LSTM

• Exercise 66: Econometric Forecasting ARIMA and SARIMA

• Exercise 67: Forecasting using Recurrent Neural Networks LSTM 

• Exercise 68: Forecasting using Quantum LSTM 

• Exercise 69: Forecasting using Bayesian Neural Networks

• Exercise 70: Multivariate Forecasting Model with VAR

• Exercise 71: Multivariate forecasting model with LSTM NMD

• Exercise 70: DeepAr forecasting NMD

• Exercise 71: Transformer forecasting NMD

• Exercise 72: Generative AI para forecasting de NMD

​

Módulo 28: Modelización del NMD con

modelos de clasificación de ML

 

• Modelos de clasificación de NMD

• Modelos Estadísticos de probabilidad de churn/runoff de depósitos

• Variables de modelo churn

• Modelos de machine learning para estimar tasa churn

• Feature Engineering

• ML models

  • Support Vector Machine Regression

  • Neural Networks Feed Forward

  • Convolutional Neural Network CNN

• Quantum ML models

  • Qubit and Quantum States

  • Quantum circuits

  • Quantum k means

  • Support Vector Quantum Machine

  • Quantum Neural Networks

  • Variational Quantum Regressor (VQR)

• Exercise 73: Variational Quantum Regressor ( VQR ) for churn rate

• Exercise 74: Quantum Support Vector Machine and classical SVM for churn model

• Exercise 75: Quantum feed forward Neural Networks  and  classical NN for churn model

• Exercise 76: Classical CNN for churn model

​

Módulo 29: Modelización del Prepago

 

• Modelos Empíricos

• Modelos Estadísticos de probabilidad de prepago

• Modelos de machine learning para estimar tasa prepago

  • Redes Neuronales Recurrentes

  • SVC

  • SVR

  • Red neuronal prealimentada

• Probabilidad de pago por contrato y por pool de créditos

• Modelos de opciones de prepago

• Modelos de Prepago racionales

• Factores como tipo de interés, estacionalidad, ciclo económico, Burnout factor y tendencia

• Estudio de Prepagos parciales y totales en hipotecas

• Ejercicio 77: Ejercicio de prepago en cartera hipotecaria usando redes neuronales y SVR

• Ejercicio 78: Modelo econométrico y de machine learning de probabilidad de prepago en R

 

Módulo 30: Modelos de Utilización de líneas de Crédito

 

• Estimación del CCF en la EAD

• Modelos intensivos de utilización  de línea de crédito

• Gestión de líneas de crédito

• Distribución Marginal del uso de líneas de crédito

• Modelos de Machine Learning para modelizar la utilización de líneas de crédito

  • SVC

  • Redes Neuronales

• Ejercicio 79: Modelo de utilización de línea de crédito en R

• Ejercicio 80: Modelo de utilización de línea de crédito con redes neuronales en Python

 

Stress Testing​

 

Módulo 31: Stress Testing de Riesgo de Tipo de Interés

 

• Escenarios y Stress Testing en  el IRRBB

• Metodología de shock de parámetros de tipo de interés

• NII tras el Shock sobre el tipo de interés

• Stress testing yield curve

• Escenarios de tipos de interés y divisa para la gestión interna

• Escenarios de tipo de interés para el stress testing

• Programa de Stress testing IRRBB

• Gobernanza Stress Testing

• Stress testing en los modelos de comportamiento y entorno económico

• Ejercicio 81: Simulación de Monte Carlo, escenarios macroeconómicos, impacto en el EVE y margen financiero escenarios de yield curve adversos y cambios macroeconómicos adversos 

• Ejercicio 82: Simulación de Monte Carlo Cuántica en el stress testing

• Ejercicio 83: aplicación de la inteligencia artificial generativa para el stress testing

 

Módulo 32: Reverse Liquidity Stress Testing

 

• Introducción del Reverse Stress Testing 

• Funding Liquidity Risk

• Stress testing del Funding Liquidity Risk

• Stress testing en el NMD

• Coste de los fondos en tiempos de crisis y normales

• Identificación de los factores de riesgo en los fondos

• Score de Funding Risk

• Asignación de critical values 

• Cálculo de periodos de supervivencia

• Cuadro de mando

• Impacto del funding risk en el banco 

​

Módulo 33: Stress Testing de Riesgo de Liquidez

 

• Requisitos del Stress Testing para ILAAP

• Consistencia entre el Risk Appetite y el Stress Testing el ILAAP

• Escenarios adversos que producen shock en el riesgo de liquidez

• Acciones de liquidez

• Magnitud de las salidas de cuentas de depósitos

• Factores relacionados con el estrés de la liquidez

  • Depósitos

  • Compromisos

  • Financiación garantizada

  • Financiación mayorista

  • Liquidez intradía

  • Capacidad de contrapeso

  • Préstamos de valores

• Metodologías de stress testing en riesgo de liquidez

  • Enfoque Bottom-up

  • Enfoque Top-Down

  • Enfoque híbrido

  • Valoración de las metodologías

• Diseño de escenarios

  • Benchmark Escenarios de estrés de liquidez

  • Modelización de los Haircuts y Add-ons

  • Magnitud las tasas de Run-Off

  • Vinculo de la liquidez y solvencia

• Modelización y Stress Tresting del Run-Off con modelos econométricos

• Stress Testng en los Cash Flows Contractuales

• Stress Testing en los los cash flows comportamentales

• Ejercicio Global 84: Stress Testing de riesgo de liquidez en estados financieros, simulación de escenarios macroeconómicos, impacto en flujos comportamentales, contractuales y tasas de Run-off 

• Ejercicio 85: Computación Cuántica en el stress testing de riesgo de liquidez 

• Ejercicio 86: tAplicación de la inteligencia artificial en el stress testing de riesgo de liquidez

 

Optimización del Balance

​

Módulo 34: Optimización del Balance 

 

• Optimización del balance

• Definición de escenarios post COVID-19

• Arboles de Escenarios estocásticos y dinámicos 

• Programación dinámica

• Programación dinámica Estocástica Multiperíodo

• Maximización del margen financiero y valor económico

• Aplicación de teorías económicas y financieras 

• Condicionantes de liquidez, capital y Basilea III

• Escenarios de Stress Testing COVID-19

• Optimización del Capital Adequacy Ratio (CAR)

• Condicionantes de IRRBB Risk Appetite

• Ejercicio 87:Optimización de ratios de cobertura y financiación estable con Solver de Excel

• Ejercicio 88: Optimización del margen financiero sujeto a reestricciones del ratio de apalancamiento, liquidez NSFR, LCR y capital, usando programación estocástica multiperíodo

• Ejercicio 89: Optimización Cuántica del balance

​​