Introducción a la Sociomática Introducción a la Sociomática El Estudio de los Sistemas Adaptables El Estudio de los Sistemas Adaptables

Complejos en el Entorno Socioeconómico.Complejos en el Entorno Socioeconómico.

Dr. Gonzalo CastañedaDr. Gonzalo Castañeda

Capítulo 13Capítulo 13Razonamiento Inductivo y Razonamiento Inductivo y

AprendizajeAprendizaje

13.0. Introducción13.0. Introducción Creencias deductivas requieren conocer la manera en Creencias deductivas requieren conocer la manera en

que el mundo opera (problemas bien definidos)que el mundo opera (problemas bien definidos) Alternativa: creencias inductivas sobre el Alternativa: creencias inductivas sobre el

comportamiento de los demás y visión subjetiva de la comportamiento de los demás y visión subjetiva de la realidadrealidad

Enfoque de formación de expectativas más realista: Enfoque de formación de expectativas más realista: “concurso de belleza”“concurso de belleza”

Creencias sobre creencias más que sobre fundamentos Creencias sobre creencias más que sobre fundamentos dado lo incierto y complejo del mundodado lo incierto y complejo del mundo

Metodologías de modelación: impulso-respuesta, Metodologías de modelación: impulso-respuesta, heurísticas cognitivas, construcción modelos mentalesheurísticas cognitivas, construcción modelos mentales

Limitaciones de expectativas racionales: ¿cómo Limitaciones de expectativas racionales: ¿cómo explicar ganadores a partir de predicciones si agentes explicar ganadores a partir de predicciones si agentes son homogéneos?son homogéneos?

En mercados financieros: P = fundamentos ¿Cómo En mercados financieros: P = fundamentos ¿Cómo explicar que existan transacciones?explicar que existan transacciones?

13.1. El problema de El Farol 13.1. El problema de El Farol CAS: creencias subjetivas en base a creencias de CAS: creencias subjetivas en base a creencias de

los demás; conjeturas se modifican en base a los demás; conjeturas se modifican en base a capacidad para predecir la realidadcapacidad para predecir la realidad

Formulación mediante un ABM dada la dificultad Formulación mediante un ABM dada la dificultad analítica (B. Arthur)analítica (B. Arthur)

Otra alternativa: juego de las minoríasOtra alternativa: juego de las minorías Formación de expectativas es crítica en contexto Formación de expectativas es crítica en contexto

de recursos limitados: se benefician los que tienen de recursos limitados: se benefician los que tienen una buena regla heurística de predicción (diferente una buena regla heurística de predicción (diferente a los demás)a los demás)

Ejemplos rutas del tráfico citadino; compra-venta Ejemplos rutas del tráfico citadino; compra-venta de acciones; elección de nichos de mercado; de acciones; elección de nichos de mercado; selección de vacaciones; conectarse a la redselección de vacaciones; conectarse a la red

* Formulación* Formulación El Farol es un bar de Santa Fe (Nuevo México) al que El Farol es un bar de Santa Fe (Nuevo México) al que

Arthur solía asistirArthur solía asistir Externalidad negativa: te beneficias si pocos lo hacenExternalidad negativa: te beneficias si pocos lo hacen ¿Se pueden formular creencias sobre creencias tal que ¿Se pueden formular creencias sobre creencias tal que

(i) existe convergencia y (ii) ex-post decisiones son (i) existe convergencia y (ii) ex-post decisiones son consistentes en promedio con objetivos (i.e. asistentes consistentes en promedio con objetivos (i.e. asistentes al bar cercanos al máximo deseable)?al bar cercanos al máximo deseable)?

En un ABM: N (agentes) = 100, L (umbral) = 60; En un ABM: N (agentes) = 100, L (umbral) = 60; Información: asistentes en semanas previas; si estiman Información: asistentes en semanas previas; si estiman menos de L prefieren irmenos de L prefieren ir

Heurísticas de predicción: (i) idéntica a la semana Heurísticas de predicción: (i) idéntica a la semana anterior, (ii) igual al promedio de las últimas tres anterior, (ii) igual al promedio de las últimas tres semanas, (iii) igual a la de hace cuatro semanas. semanas, (iii) igual a la de hace cuatro semanas.

C/agente presenta un conjunto de modelos mentales; C/agente presenta un conjunto de modelos mentales; desempeño en función de su capacidad de predicción desempeño en función de su capacidad de predicción con los datos públicos (m) almacenados en la memoria. con los datos públicos (m) almacenados en la memoria.

El Farol en Santa Fé. Nuevo El Farol en Santa Fé. Nuevo MéxicoMéxico

Si hipótesis activa deja de predecir Si hipótesis activa deja de predecir adecuadamente es sustituidaadecuadamente es sustituida

Cada agente presenta un conjunto de hipótesis Cada agente presenta un conjunto de hipótesis diferentes (k) a ser evaluadas en el transcurso diferentes (k) a ser evaluadas en el transcurso del tiempo.del tiempo.

Para codificar estas hipótesis: combinación Para codificar estas hipótesis: combinación lineal de las concurrencias observadas en las lineal de las concurrencias observadas en las últimas m semanas.últimas m semanas.

Pronósticos van desde 0 hasta N individuos a Pronósticos van desde 0 hasta N individuos a partir de m vectores de datos con partir de m vectores de datos con concurrencias de 0 hasta N:concurrencias de 0 hasta N:

Limitaciones cognitivas del individuo Limitaciones cognitivas del individuo →→ se se genera un número reducido Nk ≤ R, genera un número reducido Nk ≤ R,

1 - actual semana

m - actual semanah

A(h) h) i, W(j, i) P(j,

m1) N( 1) (N

* Resultados de las simulaciones* Resultados de las simulaciones Comportamiento colectivo: concurrencia Comportamiento colectivo: concurrencia

promedio se mueve rápidamente al umbral de promedio se mueve rápidamente al umbral de los 60los 60

Serie presenta comportamiento caótico donde Serie presenta comportamiento caótico donde ciclos persistentes se desvanecenciclos persistentes se desvanecen

En 100 semanas común encontrar que cerca En 100 semanas común encontrar que cerca del 60% de los agentes acuden al bar y 40% del 60% de los agentes acuden al bar y 40% restante se queda en casa.restante se queda en casa.

En cada periodo distintas reglas de la ecología En cada periodo distintas reglas de la ecología disponible se vuelven activasdisponible se vuelven activas

Unas reglas se adaptan a otras: co-evoluciónUnas reglas se adaptan a otras: co-evolución Resultado se puede generar con estrategias Resultado se puede generar con estrategias

mixtas Nashmixtas Nash Planteamiento de Arthur es más atractivo: Planteamiento de Arthur es más atractivo:

permite conocer la dinámica para llegar a este permite conocer la dinámica para llegar a este equilibrio y estudiar varianza en la serie de equilibrio y estudiar varianza en la serie de concurrencias concurrencias

El impacto de la memoria en la volatilidadEl impacto de la memoria en la volatilidad Volatilidad decrece conforme se incrementa el número Volatilidad decrece conforme se incrementa el número

de semanas en la memoriade semanas en la memoria

‘‘Inteligencia-inductiva’ Inteligencia-inductiva’ → → reducción de la volatilidad reducción de la volatilidad pero no en la capacidad para adoptar estrategias que pero no en la capacidad para adoptar estrategias que los lleven cerca de la concurrencia óptima. los lleven cerca de la concurrencia óptima.

‘‘inteligencia-cero’: valor aleatorio entre 0 y N inteligencia-cero’: valor aleatorio entre 0 y N → → en en promedio L agentes van al bar y N-L se quedan en casapromedio L agentes van al bar y N-L se quedan en casa

* El Farol en NetLogo* El Farol en NetLogo Si L = 60 Si L = 60 → → promedio de la concurrencia converge a promedio de la concurrencia converge a

este númeroeste número Si L = 90Si L = 90 Si L = 10Si L = 10

Solución Nash mixta no es siempre válida con agentes Solución Nash mixta no es siempre válida con agentes heterogéneos e inducción. heterogéneos e inducción.

Comportamiento inductivo no produce resultados Comportamiento inductivo no produce resultados estrictamente eficientes: individuos mantienen estrictamente eficientes: individuos mantienen expectativas que los llevan a un comportamiento no expectativas que los llevan a un comportamiento no deseable.deseable.

Existe otra versión en donde cambia la frecuencia con Existe otra versión en donde cambia la frecuencia con que se asiste (que se asiste (El FarolEl Farol. . Network CongestionNetwork Congestion ) )

Reducción en la varianza en la serie de Reducción en la varianza en la serie de concurrencias: (i) se incrementa la concurrencias: (i) se incrementa la información almacenada (ii) se reduce el información almacenada (ii) se reduce el número de hipótesis disponibles para número de hipótesis disponibles para cada agente. cada agente.

Si L = 60, k = 10: Si L = 60, k = 10: (a) m = 5 (a) m = 5 (b) m = 10 (b) m = 10

* El problema de El Farol en teoría de juegos* El problema de El Farol en teoría de juegos Redefinición: asistencia a un concierto (juego de una Redefinición: asistencia a un concierto (juego de una

tirada)tirada) (i) casa (i) casa →→cero beneficios, (ii) concierto cero beneficios, (ii) concierto →→x > 0 cuando x > 0 cuando

a lo más 60 deciden lo mismo, – y < 0 cuando más de a lo más 60 deciden lo mismo, – y < 0 cuando más de 60 van60 van

No hay equilibrio con estrategia puras: todos deciden No hay equilibrio con estrategia puras: todos deciden lo mismolo mismo

Multiplicidad con decisiones no simétricas en el que Multiplicidad con decisiones no simétricas en el que 60% van 60% van

¿Cómo jugadores idénticos generan decisiones ¿Cómo jugadores idénticos generan decisiones diferentes?diferentes?

Tiene sentido en estrategias mixtas: indiferencia entre Tiene sentido en estrategias mixtas: indiferencia entre ir y no ir: ir y no ir: x ∙x ∙ Pr [a lo más 60 asisten] – Pr [a lo más 60 asisten] – yy ∙ ∙ Pr [más de Pr [más de 60 asisten] = 060 asisten] = 0

Reescribiendo Pr [a lo más 60 asisten ] = Reescribiendo Pr [a lo más 60 asisten ] = yy/(/(xx + + yy). ). Encontrar p = probabilidad de que uno decida asistir Encontrar p = probabilidad de que uno decida asistir

tal que expresión anterior se cumpletal que expresión anterior se cumple Se puede mostrar que si beneficio y desencanto son Se puede mostrar que si beneficio y desencanto son

iguales ( x = y) iguales ( x = y) →→ p = 0.6 p = 0.6 Pero si y >> X p (<< 60%) tiene que ser muy baja Pero si y >> X p (<< 60%) tiene que ser muy baja

para que Pr [a lo más 60 asisten ] sea alta para que Pr [a lo más 60 asisten ] sea alta Asistencia promedio al concierto = 100pAsistencia promedio al concierto = 100p Por ende para y > x subutilización del espacio: más Por ende para y > x subutilización del espacio: más

del 40% de asientos vacíosdel 40% de asientos vacíos En El farol existe externalidad negativa: expectativas En El farol existe externalidad negativa: expectativas

no se validanno se validan En un contexto de estrategias mixtas si se validanEn un contexto de estrategias mixtas si se validan

13.2 Juego de las minorías13.2 Juego de las minorías Planteamiento genérico de El Farol: juego de las Planteamiento genérico de El Farol: juego de las

minoríasminorías N agentes que toman una decisión binaria (0, 1) N agentes que toman una decisión binaria (0, 1)

decisión minoritaria ganadecisión minoritaria gana En El Farol: les va bien a los que se quedan en casa En El Farol: les va bien a los que se quedan en casa

cuando mayoría decide ircuando mayoría decide ir Aplicaciones en contextos similares a El FarolAplicaciones en contextos similares a El Farol En CGT comportamiento estratégico de N individuos, en En CGT comportamiento estratégico de N individuos, en

juego de minorías la persona razona inductivamente juego de minorías la persona razona inductivamente sobre comportamiento de multitudsobre comportamiento de multitud

Ciertas simplificaciones permiten obtener respuesta Ciertas simplificaciones permiten obtener respuesta analítica a pesar de no-linealidad y desequilibrioanalítica a pesar de no-linealidad y desequilibrio

* Simplificaciones analíticas* Simplificaciones analíticas Lo importante no es predecir número exacto de Lo importante no es predecir número exacto de

comensales sino si el umbral se rebasa: comensales sino si el umbral se rebasa: En vector de memoria sólo se registra si el En vector de memoria sólo se registra si el

lugar estuvo vacío o no:lugar estuvo vacío o no: El enfoque más abstracto permite mayores El enfoque más abstracto permite mayores

aplicaciones y planteamientos analíticosaplicaciones y planteamientos analíticos A pesar de que m sea grande, el A pesar de que m sea grande, el

comportamiento independiente se da en comportamiento independiente se da en conjunto de hipótesis reducido: 2conjunto de hipótesis reducido: 2mm

Si N > 2Si N > 2mm factible encontrar efectos manadas factible encontrar efectos manadas (coordinado)(coordinado)

Si pocos jugadores Si pocos jugadores →→ reglas no similares reglas no similares →→comportamiento aleatoriocomportamiento aleatorio

m2 1) (N

m22

* Ineficiencia e historias posibles* Ineficiencia e historias posibles Ineficiencia global: fluctuaciones en Ineficiencia global: fluctuaciones en

comportamiento colectivo (comportamiento colectivo (22) / N ) / N Relación (Relación (22/N) e indicador de historias /N) e indicador de historias

posibles (posibles ( = 2 = 2mm/N) /N) →→V asimétricaV asimétrica Si Si elevado elevado→→ eficiencia baja: muchas reglas eficiencia baja: muchas reglas

independientes independientes →→ comportamiento aleatorio comportamiento aleatorio Si N se eleva Si N se eleva →→ coordinación coordinación →→baja varianzabaja varianza Pero si Pero si ≈ 0 efectos manada fuertes ≈ 0 efectos manada fuertes →→

grandes fluctuaciones y elevada varianza grandes fluctuaciones y elevada varianza

* Simulaciones por computadora* Simulaciones por computadora Sembrado a través de un mapeo: 2Sembrado a través de un mapeo: 2mm

historias posibles → {0, 1}.historias posibles → {0, 1}. Reglas con desempeño desafortunado Reglas con desempeño desafortunado

sustituidas por clón de reglas de mejor sustituidas por clón de reglas de mejor predicción con probabilidad 1-predicción con probabilidad 1-y cony con regla aleatoriaregla aleatoria. –explotación vs . –explotación vs exploración-.exploración-.

Supón tres posibilidades: adoptar la Supón tres posibilidades: adoptar la convención establecida (convención establecida (p = 1p = 1), tomar ), tomar posición contraria (posición contraria (p = 0 ); p = 0 ); o seguir la o seguir la convención de manera aleatoria 0 < convención de manera aleatoria 0 < pp < < 1.1.

¿ cómo se modifica la distribución de ¿ cómo se modifica la distribución de pp en la población en la población en el transcurso del tiempo?en el transcurso del tiempo?

¿emergen sociedades polarizadas: aquellos que van ¿emergen sociedades polarizadas: aquellos que van siempre con la historia y aquellos que van contra ella? siempre con la historia y aquellos que van contra ella?

La probabilidad se recalcula en la simulación en la La probabilidad se recalcula en la simulación en la medida en que el desempeño del agente es medida en que el desempeño del agente es desafortunadodesafortunado

Comportamiento observado:Comportamiento observado:

Intuición: con tres agentes y Intuición: con tres agentes y p =p = (0, 0.5 y (0, 0.5 y 1). 1).

En los siguientes casos siempre existe un En los siguientes casos siempre existe un ganador: (ganador: (pp=1, =1, pp=1, =1, pp=0), (=0), (pp=0, =0, pp=0, =0, pp=1) y (=1) y (pp=0, =0, pp=0.5, =0.5, pp=1).=1).

Distribución se forma en el tiempo con Distribución se forma en el tiempo con estos tres casos estos tres casos

* El juego de las minorías en NetLogo* El juego de las minorías en NetLogo Model LibraryModel Library → → Sample ModelsSample Models → → Social Sciences → Social Sciences →

Unverified → Minority GameUnverified → Minority Game.. Una hipótesis al azar de entre un conjunto es asignada Una hipótesis al azar de entre un conjunto es asignada

a cada agente.a cada agente. Con regla activa y una historia aleatoria con m datos Con regla activa y una historia aleatoria con m datos

binarios (binarios (memorymemory) se genera el comportamiento ) se genera el comportamiento colectivo del primer periodo. colectivo del primer periodo.

Con la nueva historia se revalúan todas las hipótesis Con la nueva historia se revalúan todas las hipótesis disponibles para cada agente (hayan sido aplicadas o disponibles para cada agente (hayan sido aplicadas o no) no)

Se adopta la regla con más puntos virtuales. Se adopta la regla con más puntos virtuales. Con el tiempo la variabilidad en el desempeño de las

reglas se reduce

Al Iniciar la corridaAl Iniciar la corrida

Tiempo despuésTiempo después

13.3. Modelos computacionales de aprendizaje13.3. Modelos computacionales de aprendizaje

Evidencia psicología humana: esquemas de Evidencia psicología humana: esquemas de aprendizaje variados según contextoaprendizaje variados según contexto

Validación a través de evidencia experimental y Validación a través de evidencia experimental y replicación de patrones emergentesreplicación de patrones emergentes

Análisis de sensibilidad con diferentes Análisis de sensibilidad con diferentes esquemasesquemas

Modelos de racionalidad acotada describen Modelos de racionalidad acotada describen mejor realidadmejor realidad

En economía interesa si el comportamiento es En economía interesa si el comportamiento es consistente con observado, pero no tanto consistente con observado, pero no tanto estudiar los procesos subyacentes y formas estudiar los procesos subyacentes y formas para crear modelos mentalespara crear modelos mentales

* * Clasificación de modelos de aprendizajeClasificación de modelos de aprendizaje (i) Aprendizaje no-consciente: entorno resulta familiar y (i) Aprendizaje no-consciente: entorno resulta familiar y

no hay reflexión, responden a estímulos (rutinas, no hay reflexión, responden a estímulos (rutinas, intuición, compras afectivas, conocimiento tácito)intuición, compras afectivas, conocimiento tácito)

(ii) Aprendizaje consciente: situaciones nuevas, (ii) Aprendizaje consciente: situaciones nuevas, consciencia de consecuencias. Trata de descifrar consciencia de consecuencias. Trata de descifrar mecanismos causales. Usado en situaciones importantesmecanismos causales. Usado en situaciones importantes

(ii) se divide en (a) aprendizaje por heurísticas y (b) por (ii) se divide en (a) aprendizaje por heurísticas y (b) por creenciascreencias

(a) establecer conexión entre experiencias y (a) establecer conexión entre experiencias y comportamientocomportamiento

(b) descripción detallada de aprendizaje en cerebro (b) descripción detallada de aprendizaje en cerebro humano (evidencia neurofisiológica y psicológica) y humano (evidencia neurofisiológica y psicológica) y construcción de mapas mentalesconstrucción de mapas mentales

En ABM predominan no-conscientes y reglas heurísticasEn ABM predominan no-conscientes y reglas heurísticas

* Aprendizaje no-consciente* Aprendizaje no-consciente Tienen que ver con mecanismos de refuerzo o Tienen que ver con mecanismos de refuerzo o

estímulos (estímulos (reinforcement learningreinforcement learning)) Frecuencia de comportamiento varía dependiendo si Frecuencia de comportamiento varía dependiendo si

resultados son positivos o negativosresultados son positivos o negativos No se requieren habilidades cognitivas ni información No se requieren habilidades cognitivas ni información

históricahistórica Ejemplo: modelo de Roth-ErevEjemplo: modelo de Roth-Erev C/agente tiene propensión a acción j: qij(t)C/agente tiene propensión a acción j: qij(t) Probabilidad de acción sea implementadaProbabilidad de acción sea implementada

n

1jij

ijij

)t(q

(t)q p

propensiones se modifican en función del beneficio propensiones se modifican en función del beneficio relativo recibido: R(x) = x – xrelativo recibido: R(x) = x – xminmin

Una experiencia favorable con la acción j no sólo Una experiencia favorable con la acción j no sólo incrementa su propensión sino también la de las otras incrementa su propensión sino también la de las otras acciones aunque de manera diluidaacciones aunque de manera diluida

En modelo de Busch-Mosteller se consideran estímulos En modelo de Busch-Mosteller se consideran estímulos negativos y positivosnegativos y positivos

Cuando beneficio es negativoCuando beneficio es negativo

demás loen R(x) 1-N

k j si R(x) ) - (1 R(x)) j,(E

R(x)), j,(E (t))q - (1 )1t(q

k

k ijij

t)( si t),( (t))(-

t)( si t)),( - (1 (t))( t),( 1) t,(

aaap

aaapapap

t)( si

t)t),((1

t)t),(( t),( (t)) (-

t)( si t),( (t)) (- t),( 1) t,( aa

ap

apapaaap

apap

* Aprendizaje en base a heurísticas* Aprendizaje en base a heurísticas Basados en premisas del comportamiento humano: Basados en premisas del comportamiento humano:

ensayo y error, recolección de experiencias, imitación, ensayo y error, recolección de experiencias, imitación, seguimiento de aspiraciones (o satisfacción mínima), seguimiento de aspiraciones (o satisfacción mínima), difusión de ideas e innovación (o exploración)difusión de ideas e innovación (o exploración)

(i) Recolección de experiencia (e..g. aprendizaje por (i) Recolección de experiencia (e..g. aprendizaje por mejoras)mejoras)

(ii) imitación (se compara el beneficio de otros)(ii) imitación (se compara el beneficio de otros) Utilidad promedio observada para a y para a´ se calcula Utilidad promedio observada para a y para a´ se calcula

tanto con experiencia personal y de agentes con los tanto con experiencia personal y de agentes con los que se interactúaque se interactúa

t)),'( - t),(( t)),(- (1 t),( t

t),(auauapap

d

adp

N

j

t N

ji

ji

aaau

1

1

0 1jj

)-1-(t1)-(t

1),(con

) )(( )(u j) (i, -1

- 1 t),(

* * Modelos de aprendizaje de creenciasModelos de aprendizaje de creencias Soporte en investigación psicológica sobre aprendizaje Soporte en investigación psicológica sobre aprendizaje

cognitivo cognitivo Construcción de modelos mentales, especificación Construcción de modelos mentales, especificación

mecanismos causales. mecanismos causales. En economía Denzau y North (94)En economía Denzau y North (94) Ejemplos: Ejemplos: juego ficticio, aprendizaje estocástico de juego ficticio, aprendizaje estocástico de

creencias, redes neuronales, sistemas clasificadores, creencias, redes neuronales, sistemas clasificadores, programación genética, aprendizaje Bayesiano y programación genética, aprendizaje Bayesiano y aprendizaje por mínimos cuadradosaprendizaje por mínimos cuadrados

Últimos dos usados en modelo neoclásico: aprendizaje Últimos dos usados en modelo neoclásico: aprendizaje que converge a equilibrio !!paradójico en mundo con que converge a equilibrio !!paradójico en mundo con fluctuaciones, aprendizaje permite reaccionar ante fluctuaciones, aprendizaje permite reaccionar ante eventualidades ¡¡eventualidades ¡¡

Juegos ficticios: Juegos ficticios: t)),E(p( . ) ,( t)), (E( i-i-ii

ia

iii

a aaaaMax

13.4. Aprendizaje-Q13.4. Aprendizaje-Q Dentro de la familia de aprendizajes con Dentro de la familia de aprendizajes con

refuerzosrefuerzos Aprendizaje anticipativo: conexión entre Aprendizaje anticipativo: conexión entre

acciones y consecuencias corrientes y acciones y consecuencias corrientes y futurasfuturas

Método heurístico para resolver ecuación Método heurístico para resolver ecuación de Bellman de programación dinámicade Bellman de programación dinámica

A partir de estado s encontrar A partir de estado s encontrar aa tal que tal que max Q(s,a), y acciones sucesivas también max Q(s,a), y acciones sucesivas también obedecen criterios de optimalidadobedecen criterios de optimalidad

Se utiliza criterio de aproximaciones Se utiliza criterio de aproximaciones sucesivas en donde se iteran los siguientes sucesivas en donde se iteran los siguientes pasospasos

(i) A partir de s elegir (i) A partir de s elegir aa y obtener y obtener recompensa r al llegar al estado s’recompensa r al llegar al estado s’

(ii) proceso de actualización de Q:(ii) proceso de actualización de Q:

Con algebra se tiene que:Con algebra se tiene que:

(iii) Con Q(iii) Con QNN volver al paso (i) para distintos s. volver al paso (i) para distintos s.

),(),'(max),(

),(),(),(

asQbsQrasQ

asQasQasQ

b

N

)],'(max[),(1),( bsQrasQasQb

N

*Ejemplo del método*Ejemplo del método Problema trivial: 3 periodos, c/estado asociado a una Problema trivial: 3 periodos, c/estado asociado a una

acción: aacción: aii →→ s sii

Condiciones iníciales: Q(sCondiciones iníciales: Q(sii, a, aii) = 0, recompensa = r) = 0, recompensa = rii

De De ssii se elige se elige aaii →→QQNN(s(sii,a,aii)=)= (1-(1-)0 + )0 + [r[rii + + max maxbb Q(s Q(si+1i+1, , b)] = b)] = r rii, para i =1,2, para i =1,2

De De ss33 se elige se elige aa33 → → QQNN(s(s33,a,a33)=)= (1-(1-)0 + )0 + [r[r33]= ]= r r33.. Nueva iteración:Nueva iteración: De De ssii se elige se elige aaii → → QQNN(s(sii,a,aii)=)= (1-(1-))rrii + + [r[rii + + max maxbb

Q(sQ(si+1i+1, b)] = (1-, b)] = (1-))rrii + + [r[rii + +rri+1 i+1 ], ], para i =1,2para i =1,2

De De ss33 se elige se elige aa33 → → QQNN(s(s33,a,a33)=)= (1-(1-))rr33 + + [r[r33]]

De sDe s11 y suponiendo y suponiendo = 1 = 1 → → QQNN(s(s11,a,a11) =r) =r11 + + rr22 + +22 r r3 3

que es el valor exacto de la funciónque es el valor exacto de la función

*Elección de acciones rentables*Elección de acciones rentables Cuando existen distintas acciones para c/estado Cuando existen distintas acciones para c/estado

decisión decisión maxmaxbb Q(s Q(si+1i+1, b) no es trivial, b) no es trivial

Si agente en estado sSi agente en estado s22 y existen tres acciones y existen tres acciones posibles (posibles (aa2121, , aa2222 y y aa2323) ) →→ maximizar función de maximizar función de valor en los tres casos: [valor en los tres casos: [Q(sQ(s22, a, a2121), Q(s), Q(s22, a, a2222), ), Q(sQ(s22, a, a2323))].].

Valores que se obtiene de condiciones iníciales Valores que se obtiene de condiciones iníciales y experiencias previasy experiencias previas

Para combinar explotación y exploración se Para combinar explotación y exploración se utiliza distribución de Boltzman/Gibbs utiliza distribución de Boltzman/Gibbs

i

TasQ

TasQ

ii

ii

e

etsap

/),(

/),(

),(

* * Aprendizaje Q en contexto de búsqueda Aprendizaje Q en contexto de búsqueda espacialespacial

Objeto en retícula bi-dimensionalObjeto en retícula bi-dimensional Estados de la naturaleza describen ubicación Estados de la naturaleza describen ubicación

física en retícula, acciones describen pasos en física en retícula, acciones describen pasos en una dirección, una dirección,

Recompensas nulas menos cuando se alcanza Recompensas nulas menos cuando se alcanza objetivo r = 100objetivo r = 100

* Condiciones iniciales* Condiciones iniciales

Si se supone Si se supone ss11 y se elige y se elige aa1212 al azar: al azar: QQNN(s(s11,a,a1212)=)= (1-(1-)0 + )0 + [0 +[0 + max maxbb {Q(s {Q(s22, a, a2121), Q(s), Q(s22, a, a2525),), Q(sQ(s22, , aa2323)} ] )} ] = 0 = 0

El agente en El agente en ss22 y se elige al azar y se elige al azar aa23 23 QQNN(s(s22,a,a2323)=)= (1-(1-)0 + )0 + [0 +[0 + max maxbb {Q(s {Q(s33, a, a3232), Q(s), Q(s22, a, a3636)} ] )} ] = 0= 0

El agente en El agente en ss33 y elige al azar y elige al azar aa3636 se llega al se llega al estado final, por lo que la actualización produce estado final, por lo que la actualización produce QQNN(s(s33,a,a3636)=)= (1-(1-)0 + )0 + [100 ][100 ]

Recalculo de la memoria: Recalculo de la memoria: QQNN(s(s11,a,a1212)=)= 0, 0, QQNN(s(s22,a,a2323)=)= 0 y 0 y QQNN(s(s33,a,a3636)=100)=100..

Si nuevo episodio de búsqueda empieza en el Si nuevo episodio de búsqueda empieza en el estado estado ss22 y se elige al azar y se elige al azar aa2323: : QQNN(s(s22,a,a2323)=)= 0 0 +0.5max+0.5maxbb {Q(s {Q(s33, a, a3232), Q(s), Q(s33, a, a3636)} )} = 0 + 0.5 (100), = 0 + 0.5 (100), al suponer al suponer = 1, = 1, = 0.5 = 0.5

* Valores finales* Valores finales al suponer al suponer = 1, = 1, = 0.5 = 0.5

Condiciones para convergencia:Condiciones para convergencia: (i) ninguna acción queda afuera en los experimentos, (i) ninguna acción queda afuera en los experimentos,

(ii) la tasa de aprendizaje se considera decreciente en (ii) la tasa de aprendizaje se considera decreciente en el tiempo, (iii) el entorno es estacionario y (iv) la el tiempo, (iii) el entorno es estacionario y (iv) la probabilidad de transitar del estado probabilidad de transitar del estado ss al al ss’ a partir de la ’ a partir de la acción acción aa no depende de la historia previa no depende de la historia previa

* Aprendizaje-Q en Netlogo* Aprendizaje-Q en Netlogo Disponible en la sección de modelos de la Disponible en la sección de modelos de la

comunidad: comunidad: Reinforcement Learning Reinforcement Learning MazeMaze).).

Al inicio de cada episodio agente está en Al inicio de cada episodio agente está en una esquina y objeto en la contrariauna esquina y objeto en la contraria

Episodio se define como intento por Episodio se define como intento por alcanzar objetivoalcanzar objetivo

Episodio se interrumpe cuando se choca Episodio se interrumpe cuando se choca con pared o se alcanza objetivocon pared o se alcanza objetivo

Recompensas: pared (-10); laberinto (0), Recompensas: pared (-10); laberinto (0), objetivo (10)objetivo (10)

Trayectorias en varios intentosTrayectorias en varios intentos

Eficiencia del aprendizajeEficiencia del aprendizaje

13.5. Formación de Expectativas y Evidencia 13.5. Formación de Expectativas y Evidencia ExperimentalExperimental

Economistas adoptan premisas axiomáticas sobre Economistas adoptan premisas axiomáticas sobre expectativasexpectativas

De las expectativas De las expectativas naivenaive o adaptativas a las racionales o adaptativas a las racionales E.R. supone que individuos conocen el funcionamiento E.R. supone que individuos conocen el funcionamiento

de la economía y sus características estocásticas. de la economía y sus características estocásticas. ¿Agentes aprendan a anticipar variables y sus ¿Agentes aprendan a anticipar variables y sus

pronósticos convergen con expectativas racionales?pronósticos convergen con expectativas racionales? Convergencia al equilibrio racional sólo bajo ciertas Convergencia al equilibrio racional sólo bajo ciertas

estructuras del mercado (e.g. estabilidad, unicidad, estructuras del mercado (e.g. estabilidad, unicidad, expectativas en la oferta).expectativas en la oferta).

El estudio de las expectativas tiene un fuerte El estudio de las expectativas tiene un fuerte componente empírico, históricamente descuidado por componente empírico, históricamente descuidado por los científicos sociales. los científicos sociales.

Capacidad de diversos criterios teóricos de formación Capacidad de diversos criterios teóricos de formación de expectativas para reproducir evidencia encontrada de expectativas para reproducir evidencia encontrada en un mercado experimental.en un mercado experimental.

* El mercado de la telaraña* El mercado de la telaraña Mercado tipo telaraña (agrícola): oferta Mercado tipo telaraña (agrícola): oferta

función del precio anticipado, y demanda función del precio anticipado, y demanda función del precio observado. función del precio observado.

Retroalimentación negativa: expectativa Retroalimentación negativa: expectativa de un precio alto conduce a una mayor de un precio alto conduce a una mayor oferta, por equilibrio oferta, por equilibrio → → baja en precios.baja en precios.

En escenario de retroalimentación En escenario de retroalimentación positiva: expectativas de precios altos positiva: expectativas de precios altos → → precios aumentaprecios aumenta

Característica de mercados Característica de mercados especulativos; la demanda y no la oferta especulativos; la demanda y no la oferta es función de los precios anticipados. es función de los precios anticipados.

Descripción del mercadoDescripción del mercado Equilibrio:Equilibrio:

Demanda agregada:Demanda agregada:

Oferta agregada:Oferta agregada:

Precios de equilibrio.Precios de equilibrio.

Estabilidad depende de Estabilidad depende de = S’(p*)/D’(p*)), = S’(p*)/D’(p*)), → → sistema es estable cuando -1 < sistema es estable cuando -1 < < 1. < 1.

K

i 1

eti,t )S(p )D(p

0 con p - )D(p ttt a, bba

0 con 1 )6(p tanh( )S(p eti,

eti,

bb

at

K

i

1

eti,

t

)S(pp

* Características del diseño experimental* Características del diseño experimental Sujetos humanos eligen el precio de producción Sujetos humanos eligen el precio de producción

anticipado (50 periodos) anticipado (50 periodos) Oferta agregada: 6 agentes diferentes.Oferta agregada: 6 agentes diferentes. Única información: serie de precios de equilibrio Única información: serie de precios de equilibrio

pasados y que p pasados y que p [ 0 , 10] [ 0 , 10] Experimento se aplica con 3 tratamientos Experimento se aplica con 3 tratamientos

diferentes vinculados a la estabilidaddiferentes vinculados a la estabilidad Cada uno de estos tratamientos se aplica a 6 Cada uno de estos tratamientos se aplica a 6

grupos diferentes grupos diferentes

* Modelos teóricos para la formación de * Modelos teóricos para la formación de expectativasexpectativas

Series de precios de equilibrio con cada uno de Series de precios de equilibrio con cada uno de los tratamientos se comparan con series los tratamientos se comparan con series simuladas con diferentes mecanismos teóricos. simuladas con diferentes mecanismos teóricos.

(a) Racionales: precio observado difiere del (a) Racionales: precio observado difiere del precio de equilibrio por efecto del componente precio de equilibrio por efecto del componente estocástico del mercado estocástico del mercado

(b) (b) NaiveNaive: último precio observado; agentes : último precio observado; agentes cometen errores sistemáticos por no cometen errores sistemáticos por no considerar patrones de auto-correlaciónconsiderar patrones de auto-correlación

tt *p p

1-tet p p

(c) (c) Adaptativas: agentes aprenden y modifican Adaptativas: agentes aprenden y modifican sus apreciaciones sobre el precio futuro en sus apreciaciones sobre el precio futuro en función del error de pronóstico función del error de pronóstico

(d) Aprendizaje por promedios: agentes (d) Aprendizaje por promedios: agentes pronostican el precio en t calculando la media pronostican el precio en t calculando la media de todos los precios observados hasta t-1 (serie de todos los precios observados hasta t-1 (serie suavizada)suavizada)

(e) Aprendizaje a través de auto-correlaciones (e) Aprendizaje a través de auto-correlaciones muestrales: regla lineal de pronóstico para los muestrales: regla lineal de pronóstico para los preciosprecios

)p (p p p e1-t1-t

e1-t

et

1-t

0iip

t

1 p

) - (p p t1-tttet

-Simulaciones teóricas--Simulaciones teóricas-

* Resultados del Experimento* Resultados del Experimento En las simulaciones teóricas se observa una cierta En las simulaciones teóricas se observa una cierta

convergencia con RE en aprendizaje de promedios y convergencia con RE en aprendizaje de promedios y SAC SAC

¿ Existe evidencia sobre cercanía entre precios ¿ Existe evidencia sobre cercanía entre precios generados con RE y los obtenidos con ejercicio generados con RE y los obtenidos con ejercicio experimental ?experimental ?

RE es un buen criterio teórico para anticipar precios en RE es un buen criterio teórico para anticipar precios en escenarios estables, pero no así en los inestables dada escenarios estables, pero no así en los inestables dada su incapacidad para reproducir los niveles de su incapacidad para reproducir los niveles de volatilidad observados. volatilidad observados.

Expectativas Expectativas naivenaive se desempeñan adecuadamente en se desempeñan adecuadamente en un contexto estable, no así las adaptativas que un contexto estable, no así las adaptativas que producen patrones cíclicos significativos que no producen patrones cíclicos significativos que no concuerdan con precios experimentales. concuerdan con precios experimentales.

Mecanismos de aprendizaje adaptativo (promedios y Mecanismos de aprendizaje adaptativo (promedios y SAC) tampoco logran describir la volatilidad en los SAC) tampoco logran describir la volatilidad en los precios experimentalesprecios experimentales

Pruebas de media y varianza: RE Pruebas de media y varianza: RE versus experimental (50 periodos) versus experimental (50 periodos)

13.6.- Aprendizaje en Sistemas 13.6.- Aprendizaje en Sistemas Adaptables ComplejosAdaptables Complejos

Volatilidad excesiva en los precios de equilibrio del Volatilidad excesiva en los precios de equilibrio del mercado experimental mercado experimental → → creencias heterogéneas. creencias heterogéneas.

En las simulaciones teóricas se supuso agentes En las simulaciones teóricas se supuso agentes representativos. representativos.

Considerar a un conjunto de heurísticas y su selección Considerar a un conjunto de heurísticas y su selección evolutivaevolutiva

Sociedad aprende las reglas de movimiento de los Sociedad aprende las reglas de movimiento de los precios sin tener conocimiento de ecuaciones que precios sin tener conocimiento de ecuaciones que definen equilibrio del mercado.definen equilibrio del mercado.

Co-evolución entre expectativas y comportamiento Co-evolución entre expectativas y comportamiento observado en los precios: creencias inciden sobre el observado en los precios: creencias inciden sobre el exceso de demanda exceso de demanda →→ beneficios de distintos tipos de beneficios de distintos tipos de expectativas y por ende su evolución. expectativas y por ende su evolución.

* Modelos con expectativas heterogéneas* Modelos con expectativas heterogéneas

La formación de expectativas obedece a los La formación de expectativas obedece a los siguientes puntos:siguientes puntos:

(i) Agentes pueden elegir de entre un menú (i) Agentes pueden elegir de entre un menú de mecanismos posibles (i.e RE, naive) de mecanismos posibles (i.e RE, naive)

(ii) Si la regla es más sofisticada (información, (ii) Si la regla es más sofisticada (información, conocimiento del entorno) conocimiento del entorno) →→ más costo más costo

(iii) Proceso evolutivo: agentes seleccionan (iii) Proceso evolutivo: agentes seleccionan aquellas reglas que en el pasado exhibieron un aquellas reglas que en el pasado exhibieron un mejor desempeño. mejor desempeño.

Existen H reglas de pronóstico disponibles Existen H reglas de pronóstico disponibles Ej: heurística lineal: Ej: heurística lineal:

H..., 1, j p )(pH 1-tjj1-tj

Popularidad de la regla se modifica en Popularidad de la regla se modifica en de acuerdo a una función de adaptación:de acuerdo a una función de adaptación:

Función de beneficios esperados:Función de beneficios esperados:

Equilibrio en un mercado de la telaraña:Equilibrio en un mercado de la telaraña:

Participaciones relativas se modifican Participaciones relativas se modifican en función del valor de adaptación: en función del valor de adaptación:

jt1-jtjt ) - (1 U U

j2

1-tj1-tjtjt C - ))p(H(2

- )(pH p s

s

)p s( )p s( p - 1-t222t1-t111tt da

1jt1-t

1-jt

jt Z

Ue ) - (1

h

1-ht1-t

Ue Z

* Fundamentalistas * Fundamentalistas versus naiveversus naive Fundamentalista: Fundamentalista: recaba información sobre el mercado recaba información sobre el mercado

→→ precio anticipado = precio de equilibrio si todos los precio anticipado = precio de equilibrio si todos los agentes tuvieran ER (agentes tuvieran ER (2t2t = 0, p = 0, ptt =p =pt-1t-1 = p*) = p*)

Naive: Naive:

Simulación: periodos de baja volatilidad y precios Simulación: periodos de baja volatilidad y precios cercanos a los fundamentos se intercalan con periodos cercanos a los fundamentos se intercalan con periodos de elevada volatilidad de elevada volatilidad

Patrón emergente resultado de cambios de la Patrón emergente resultado de cambios de la participación de los distintos tipos de agente en el participación de los distintos tipos de agente en el tiempo.tiempo.

Con precios volátiles a los agentes les conviene incurrir Con precios volátiles a los agentes les conviene incurrir en costos y recabar información que les permita en costos y recabar información que les permita precisar los fundamentos del mercado precisar los fundamentos del mercado →→ en la medida en la medida en que aumentan la participación de los en que aumentan la participación de los fundamentalistas el precio se vuelve menos volátil fundamentalistas el precio se vuelve menos volátil

1-t1-t2 p )p(H s d

*p )p(H 1-t1

a

Mercado de telaraña con expectativas heterogéneasMercado de telaraña con expectativas heterogéneas

(a) (xt = pt – p*) (b) part. Fundamentalistas(a) (xt = pt – p*) (b) part. Fundamentalistas

(c) Diagrama bifurcación(c) Diagrama bifurcación (c) Autocorrelación(c) Autocorrelación

13.7. Juegos con aprendizaje13.7. Juegos con aprendizaje CGT: los agentes conocen la estructura de la matriz de CGT: los agentes conocen la estructura de la matriz de

beneficios y las expectativas son racionalesbeneficios y las expectativas son racionales Si se relaja el supuesto de racionalidad se establecen Si se relaja el supuesto de racionalidad se establecen

creencias sobre comportamiento de la contrapartecreencias sobre comportamiento de la contraparte En el modelo (Hanaki at al) agentes buscan identificar En el modelo (Hanaki at al) agentes buscan identificar

la estructura del juego: acciones que otros pueden la estructura del juego: acciones que otros pueden elegir y beneficios asociadoselegir y beneficios asociados

Memoria autobiográfica: detalles de información se Memoria autobiográfica: detalles de información se pierdenpierden

Memoria corta se registran beneficios y acciones de Memoria corta se registran beneficios y acciones de c/etapa vs memoria larga: se registra vinculo acción-c/etapa vs memoria larga: se registra vinculo acción-beneficio sólo cuando este aparece frecuentementebeneficio sólo cuando este aparece frecuentemente

Memoria larga: visón personal del juegoMemoria larga: visón personal del juego Entendimiento del juego co-evoluciona con elección del Entendimiento del juego co-evoluciona con elección del

comportamiento via reforzamientocomportamiento via reforzamiento

* * Modelación de la perspectiva del juegoModelación de la perspectiva del juego Memoria corta: duración Memoria corta: duración mmii (i = 1, 2) de la información (i = 1, 2) de la información

almacenada almacenada Cuando resultado (Cuando resultado (ssii, , ssjj) se repite tal que se rebasa al ) se repite tal que se rebasa al

umbral cognitivo, umbral cognitivo, kkii (≤ (≤ mmii), ), →→ acciones realizadas y acciones realizadas y beneficio pasan a formar parte de la memoria larga.beneficio pasan a formar parte de la memoria larga.

Visión personal se construye a partir de beneficios Visión personal se construye a partir de beneficios objetivos y memoriaobjetivos y memoria

Matriz de beneficios objetivos: Matriz de beneficios objetivos:

),(),(

),(),( 111

jnj

ini

jnj

ini

jnj

iji

i

ssissi

ssissi

La matriz de memoria larga: LLa matriz de memoria larga: Lii(t) se (t) se define con unos y cero dependiendo de define con unos y cero dependiendo de que (que (ssii, , ssjj) quede o no en la memoria) quede o no en la memoria

Al inicio del juego: Al inicio del juego: LLiisi,sj si,sj (0) = 0 para todo (0) = 0 para todo

((ssii, , ssjj) c ) c SSii x x SSjj Visión personal del juego:Visión personal del juego:si,sjsi,sj (t) = 0 cuando aún no aprenden la (t) = 0 cuando aún no aprenden la

naturaleza del resultado (naturaleza del resultado (ssii, , ssjj).).

ii tLt )()(~

* Mecanismo de aprendizaje * Mecanismo de aprendizaje sobre selección de accionessobre selección de acciones

Selección probabilística de acción: Selección probabilística de acción: ppiiss((tt))

Experiencia se sintetiza con un indicador Experiencia se sintetiza con un indicador de atracción, de atracción, AAii

ss((tt) )

Al inicio del juego todas las acciones Al inicio del juego todas las acciones tienen la misma atracción Atienen la misma atracción Aii

ss(0) = 0(0) = 0 Nivel de atracción evoluciona en función Nivel de atracción evoluciona en función

de los estímulos de los estímulos

iSk

tikAi

tisAi

is

e

etp

)(

)(

)(

1

0

)(1

)1(ih

isi

is tR

htA

Estímulo depende de resultados Estímulo depende de resultados observados y de visión personalobservados y de visión personal

Acciones corrientes se ven estimuladas Acciones corrientes se ven estimuladas por beneficios observados cuando las por beneficios observados cuando las acciones adoptadas en pasado reciente.acciones adoptadas en pasado reciente.

Para acciones no adoptadas recientemente Para acciones no adoptadas recientemente estímulo depende de beneficios en estímulo depende de beneficios en memoria. memoria.

En los demás escenarios el estímulo es En los demás escenarios el estímulo es cero. cero.

casos demás los todosen (t)

)( si ))(),(()( i

)(,

~

tsjs

iji

is

tsststsitR

* Algunos resultados de simulaciones* Algunos resultados de simulaciones Sea el siguiente juego 3 x 3 en el que Sea el siguiente juego 3 x 3 en el que aa (0, 0.5) (0, 0.5)

Mezcla de dilema de prisionero y juego de coordinaciónMezcla de dilema de prisionero y juego de coordinación Se supone que Se supone que mm = 5, = 5, kk = 3, = 3,= 5.0 y = 5.0 y aa = 0.25 = 0.25 Hasta periodo 400 sólo un resultado del juego se había Hasta periodo 400 sólo un resultado del juego se había

registrado en la memoria largaregistrado en la memoria larga Para periodo 500 el equilibrio Nash ya forma parte de la Para periodo 500 el equilibrio Nash ya forma parte de la

memoria; número más elevado de selecciones.memoria; número más elevado de selecciones. Patrones de co-evolución observados varían de una Patrones de co-evolución observados varían de una

corrida a otra en función de la visión personal del juego corrida a otra en función de la visión personal del juego que los individuos van adquiriendo.que los individuos van adquiriendo.

aaas

aaas

aas

sss

1,1,01,0

0,,0,1

0,11,01,1

13

12

11

23

22

21

Recalculo de la matriz de memoriaRecalculo de la matriz de memoria

Recalculo de frecuencias relativasRecalculo de frecuencias relativas

Beneficios promedios en distintas corridas para K = 1, 3, 5 Beneficios promedios en distintas corridas para K = 1, 3, 5 y distintos métodos GL (negra), RL (gris), FPy distintos métodos GL (negra), RL (gris), FP

Con K = 1, 3, jugadores Aprenden rápido y empiezan a Con K = 1, 3, jugadores Aprenden rápido y empiezan a jugar Nashjugar Nash

Aprendizaje lento y conocimiento limitado del juego Aprendizaje lento y conocimiento limitado del juego permiten beneficios promedio más elevadospermiten beneficios promedio más elevados

Elevados umbrales cognitivos dificultan almacenar Elevados umbrales cognitivos dificultan almacenar información en memoria larga y cambiar visión del juego. información en memoria larga y cambiar visión del juego.

No significa que en un mundo complejo el entendimiento No significa que en un mundo complejo el entendimiento limitado limitado →→beneficios mayoresbeneficios mayores

Desconocimiento puede resultar benéfico solamente Desconocimiento puede resultar benéfico solamente cuando todas las partes involucradas son ignorantescuando todas las partes involucradas son ignorantes