BBVA Bancomer Metodologías de Riesgo Collection Score: … · Proceso de actualización bayesiano L ( S |T 1, å , T P+ 1) ß L :T ... No tiene una distribución a priori conjugada,

C o p y r i g h t © 2 0 1 3 , S A S I n s t i t u t e I n c . A l l r i g h t s r e s e r v e d .

make connections • share ideas • be inspired

BBVA BancomerMetodologías de Riesgo

Collection Score: Actualización BayesianaJesús Luján Iván Solórzano Claudia Espinoza

Copyright © 2013 , SAS Institute Inc. All rights reserved.

Índice1. Introducción

2. Teoría bayesiana

3. Desarrollo

4. Descripción de los modelos y resultados

a) Descripción de los segmentos

b) Elección de a Priori

c) Muestreo por Gibbs

d) Aproximación de Laplace

5. Conclusiones y próximos pasos


Introducción

Credit Scoring

Es una herramienta numérica utilizada para determinar el

nivel de riesgo asociado a cada solicitante de crédito o

clientes existentes.

A cada solicitante se le asigna una probabilidad de ser

“bueno” o “malo” la cual determina la puntuación o score.

Estos scores o probabilidades se utilizan para la toma de

decisiones en distintas etapas de la vida del crédito como

admisión, seguimiento y cobranza.

En particular, esta es una aplicación en la cobranza.


Introducción

Motivación

La naturaleza de corto plazo que tienen los modelos de

Credit Scoring para cobranza provocan que estos sean

más sensibles ante estacionalidad, cambios estratégicos e

inclusive variaciones macroeconómicas. Por esta razón se

propone actualizar con mayor frecuencia este tipo de

modelos mediante técnicas más rápidas que las

comúnmente utilizadas en Credit Scoring.


Introducción

Objetivo

Implementar un modelo que permita capturar

oportunamente cambios en la dinámica de la población

bajo estudio y mejorar la predicción de los modelos de

Recuperación y Cobranza con respuesta dicotómica.

Propuesta: Regresión Logística Bayesiana


Temas1. Introducción


3. Desarrollo








Inferencia Bayesiana

Objetivo: asignar una distribución de probabilidad a un

parámetro para describir la incertidumbre sobre su

verdadero valor.

Teorema de Bayes:

𝑝 𝑤 𝐷 =𝑝 𝐷| 𝑤 𝑝(𝑤)

𝑝 𝐷| 𝑤 𝑝(𝑤)𝑑𝑤

𝜔





verdadero valor.

Teorema de Bayes:

A PrioriEs la información

inicial que tenemos

de los parámetros



𝜔





verdadero valor.

Teorema de Bayes:

VerosimilitudEs la información

que nos dan los

datos o experiencia

sobre los

parámetros



𝜔





verdadero valor.

Teorema de Bayes:A Posterior

Es la información

actualizada del

parámetro dada

nuestra experiencia

y conocimiento

inicial



𝜔


Si los datos son presentados en forma secuencial, la

posterior en un momento dado se convierte en la priori del

siguiente:

La forma de la distribución predictiva es:

En nuestro caso, se utilizará para determinar la capacidad

predictiva de nuestro modelo con cada actualización.

Proceso de actualización bayesiano

𝑝(𝑤|𝑥1, … , 𝑥𝑡+1) ∝ 𝑝 𝑥𝑡+1 𝑤 𝑝(𝑤|𝑥1, … , 𝑥𝑡)

𝑝(𝑥|𝐷) = 𝑝 𝑥| 𝑤 𝑝 𝑤 𝐷 𝑑𝑤

𝜔


Regresión Logística Bayesiana

La verosimilitud en la Regresión Logística Bayesiana es:

No tiene una distribución a priori conjugada, por lo que se emplearon dos métodos:

• Muestreo de Gibbs (Simulación – PROC GENMOD)

• Aproximación de Laplace (Numérico – PROC MCMC)


Temas

1. Introducción


3. Desarrollo








Desarrollo• Se seleccionaron dos segmentos de recuperación de la

cartera hipotecaria con información de dos años (Sep. 2009-

Sept.2011)

• Para cada segmento se desarrolló lo siguiente:

1. Desarrollo de una Scorecard “Frecuentista” con un año de info.

2. Ajuste de modelos bayesianos con el segundo año de info.

3. Elección de distribuciones a priori

4. Actualizaciones

5. Medidas de desempeño (Gini)


Desarrollo

Nov.

2010

Ago.

2011

Sept.

2011

Oct.

2010 …Sep. 2009- Sept. 2010

Desarrollo

Frecuentista

+1 Mes +1 Mes +1 Mes +1 Mes

Actualizaciones Bayesianas

𝑝(𝑤|𝑥1, … , 𝑥𝑡+1) ∝ 𝑝 𝑥𝑡+1 𝑤 𝑝(𝑤|𝑥1, … , 𝑥𝑡)


Desarrollo

𝑝(𝑤|𝑥1, … , 𝑥𝑡+1) ∝ 𝑝 𝑥𝑡+1 𝑤 𝑝(𝑤|𝑥1, … , 𝑥𝑡)

Priori

Nov.

2010

Ago.

2011

Sept.

2011

Oct.

2010 …Sep. 2009- Sept. 2010


Verosimilitud

Desarrollo

FrecuentistaActualizaciones Bayesianas


Desarrollo

𝑝(𝑤|𝑥1, … , 𝑥𝑡+1) ∝ 𝑝 𝑥𝑡+1 𝑤 𝑝(𝑤|𝑥1, … , 𝑥𝑡)

Nov.

2010

Ago.

2011

Sept.

2011

Oct.

2010 …Sep. 2009- Sept. 2010


Posterior

Desarrollo

FrecuentistaActualizaciones Bayesianas


Temas

1. Introducción


3. Desarrollo








Descripción Casos PrácticosCartera

Hipotecaria

CON Solución

en este Mes

Mora 0

Mora 1

Mora 2

Mora 3

SIN Solución

en este Mes

Apoyados en Algún Mes

Anterior

Mora 0

Mora 1

Mora 2

Mora 3

Nunca

Apoyados

Mora 0

Mora 1

Mora 2

Mora 3

Segmentos Especiales

PEMEX

Ex

Empleado

Para los casos que no se les aplicó un apoyo en este mes. Se modeló la probabilidad de que el

contrato Suba o No Suba de mora en el siguiente mes.


Segmento: Previamente Apoyados mora 1

Variable Gini Peso

Máxima mora en los últimos 6 meses18.62

%

23.42

%

Mora promedio de los últimos 5 meses18.56

%

20.51

%

Número de veces que aumenta la

mora en los últimos 6 meses

17.65

%

19.51

%

Total pagado el último mes entre total

requerido5.20%

13.73

%

Número de Mensualidades Vencidas

al momento en que se aplicó la

solución

7.33% 8.32%

Número de meses que tiene la cuenta

más antigua de cualquier tipo6.82% 7.73%

Número de cuentas totales del cliente 5.90% 6.79%

Contratos que en algún mes

anterior al actual se les otorgó

algún tipo de apoyo y en este

mes se encuentran en mora 1.

Este segmento presenta mayor

inestabilidad ya que las

estimaciones de las

probabilidades observadas para

los nodos obtenidos por los

arboles cambian mucho a lo

largo del tiempo.


Segmento: Nunca Apoyados mora 2

Variable Gini Peso

Máxima mora en los últimos 6 meses 14.37

%

16.09

%

Mora promedio de los últimos 2

meses ponderado por saldo9.33%

15.38

%

Número de veces que aumenta la

mora en los últimos 6 meses

17.89

%

15.08

%

Número de meses que tiene la

cuenta más antigua de cualquier tipo9.01%

13.36

%

Variación de saldo del tercero al

segundo mes anterior9.22%

13.36

%

Total pagado el último mes entre

total requerido9.11%

13.36

%

Edad del cliente 6.93%13.36

%

Contratos que no se les ha

otorgado ningún tipo de apoyo y

en este mes se encuentran en

mora 2.

Este segmento presenta mayor

estabilidad.


Temas


2. Desarrollo del grupo de innovación








Distribuciones a priori

10%

15%

20%

25%

30%

oct-10 dic-10 feb-11 abr-11 jun-11 ago-11

Gini – Apoyados m1

Frecuentista Uniforme

1 Mes V. (Priori Inf.) 6 Meses V. (Priori Inf.)

A Priori



𝜔

10%

15%

20%

25%

30%

Oct-10 Dec-10 Feb-11 Apr-11 Jun-11 Aug-11

Gini – No Apoyado m2

FrecuentistaNormal InformativaJeffreys


Temas


2. Desarrollo del grupo de innovación








Muestreo de Gibbs

Se desea conocer las características de x a partir de su

marginal, como la media y la varianza.

El muestreo de Gibbs consiste en generar una muestra

sin requerir .

Algoritmo (bivariado):

La distribución de converge a conforme


Muestreo de Gibbs

Ejemplo de salida en SAS:•Demanda alto poder de

cómputo

•Gran número de simulaciones

para las colas

• Se debe desechar muestras

autocorrelacionadas

•Se debe desechar muestra del

periodo de calentamiento

•Funciona para casi cualquier

tipo de distribuciones iniciales


Estimador Puntual vs Distribución Predictiva

29.1%

23.9%

25.8%

21.4%

16.6%

12.6%

10%

15%

20%

25%

30%

Oct-10 Nov-10 Dec-10 Jan-11 Feb-11 Mar-11

Gini: Apoyados mora 1

Normal (Predictiva) Normal (Media) Frecuentista


Actualizaciones Bayesianas (Gibbs)1 Mes Verosimilitud – Normal

Se utilizó el proceso de actualización bayesiano:

𝑝(𝑤|𝑥1, … , 𝑥𝑡+1) ∝ 𝑝 𝑥𝑡+1 𝑤 𝑝(𝑤|𝑥1, … , 𝑥𝑡)

𝑝 𝑤 𝛽 =𝑝 𝐷| 𝛽 𝑝(𝛽)

𝑝 𝐷| 𝛽 𝑝(𝛽)𝑑𝛽

𝛽

29.1%

23.9%

25.8%

21.4%

16.6%

12.6%

13.7%

15.7%

14.2%

12.5%

27.0%

22.7%

18.1%

15.9%16.2%

17.8%17.2%

15.5%

10%

15%

20%

25%

30%

Nov-10 Dec-10 Jan-11 Feb-11 Mar-11 Apr-11 May-11 Jun-11 Jul-11 Aug-11

Gini - Segmento: Apoyo m1

Frecuentista Act. 1 MV


Máxima mora en los últimos 6 meses

Actualizaciones Bayesianas (Gibbs) Apoyado Mora 1, No Sube

-0.25

-0.20

-0.15

-0.10

-0.05

0.00

0.05

1MV

2MV

3MV

4MV

5MV

6MV

Betas – Rango 1

P. 25% Media P. 50% P. 75%

Frecuentista nov-10 ene-11 mar-11 may-11 jul-11

Tasas de Recuperación

0 1 2


Actualizaciones Bayesianas (Gibbs) Apoyado Mora 1, No Sube

-0.15

-0.13

-0.11

-0.09

-0.07

-0.05

-0.03

-0.01

0.01

1MV

2MV

3MV

4MV

5MV

6MV

Betas – Rango 3

P. 25% Media P. 50% P. 75%

Mora Promedio de los últimos 5 meses

Frecuentista nov-10 ene-11 mar-11 may-11 jul-11

Tasas de Recuperación

0 3 4 5

7 9 0 3


Actualizaciones Bayesianas (Gibbs) No Reestructurado Mora2, No Sube

Pérdida de Significatividad:


Actualizaciones Bayesianas (Gibbs) No Reestructurado Mora2, No Sube

Significatividad Estable:


Temas


2. Desarrollo








Aproximación de Laplace

Con este método se busca ajustar la mejor Gaussiana a la distribución posterior., a

partir de la moda

Una desventaja de utilizar esta aproximación se presenta cuando la distribución

posterior tiene más de una moda; ya que la aproximación cambia dependiendo de

la moda que se utilice.

Es importante revisar que forma tiene la distribución posterior, ya que puede no ser

la mejor alternativa una aproximación con una Normal.


Actualizaciones BayesianasPriori Normal (Aproximación de Laplace)

29.1%

23.9%

25.8%

21.4%

16.6%

12.6%

13.7%

15.7%

14.2%

12.5%

27.0%

22.7%

18.1%

15.9%16.2%

17.8%17.2%

15.5%

10%

15%

20%

25%

30%

Nov-10 Dec-10 Jan-11 Feb-11 Mar-11 Apr-11 May-11 Jun-11 Jul-11 Aug-11

Gini - Segmento: Apoyo m1

FrecuentistaAct. 1 MVAct. 3 MV


Temas


2. Desarrollo








Conclusiones• Fácil Implementación

Es despreciable la diferencia en Gini al utilizar un estimador puntual de la posterior en vez

de la predictiva. Esto mismo sucede si utilizamos la Aproximación de Laplace en vez de

Muestreo de Gibbs.

• Aumento de Gini y revisión de tendencia

Detección temprana de cambios de tendencia y pérdida de significatividad en las

variables, en base a este análisis se puede determinar en qué momento es necesario

cambiar el modelo. Además de que con 6 meses de información es suficiente para

mejorar considerablemente el Gini y conservar la tendencia de los rangos.

• Mayor ventaja en modelos inestables

La mejora en Gini con respecto al enfoque frecuentista, es mayor en el segmento

inestable que en el que presenta mayor estabilidad; esto se presenta en todos los

modelos ajustados.


Próximos Pasos• Actualización de modelos

Se podrían realizar actualizaciones periódicas de los parámetros de modelos ya

implementados para capturar cambios en las características de la cartera en gestión

de forma oportuna y con esto se mejorará el Gini.

• Primer paso en el reajuste de un modelo

En el momento en el que un modelo productivo es candidato a ser desechado, puede

ser que con una actualización bayesiana pueda mejorarlo.

• Backtesting

Se puede evaluar mediante actualizaciones bayesianas la capacidad predictiva de un

modelo y la significatividad de sus variables en periodos cortos para realizar una

detección temprana de un modelo poco predictivo.

Copyright © 2010, SAS Institute Inc. All rights reserved.C o p y r i g h t © 2 0 1 3 , S A S I n s t i t u t e I n c . A l l r i g h t s r e s e r v e d .

make connections • share ideas • be inspired

¡Gracias!

Jesús Luján

[email protected]

Iván Solórzano

[email protected]

Claudia Espinoza

[email protected]

Documents

BBVA Bancomer Metodologías de Riesgo Collection Score: … · Proceso de actualización bayesiano L ( S |T 1, å , T P+ 1) ß L :T ... No tiene una distribución a priori conjugada,