Evaluación del proceso global en la coevaluación de criaturas virtuales: un modelo...

Por: Rubén ParmaTutor: José Gregorio Sánchez

EVALUACIÓN DEL PROGRESO GLOBAL EN LA COEVOLUCIÓN DE

CRIATURAS VIRTUALES: UN MODELO DEPREDADOR-PRESA

BASADO EN REDES NEURONALES ARTIFICIALES DE ESTRUCTURA FIJA Y EVOLUTIVA

2Ing. Rubén Parma

Introducción

> Por qué estudiar la coevolución?

> El Problema

> Cómo obtener mejores resultados?

> Aplicación?

33Ing. Rubén Parma

Terminología utilizada

4Ing. Rubén Parma

Coevolución

> Biológica

> Artificial

5Ing. Rubén Parma

Progreso

> Local. Biológicamente Posible. Computacionalmente Posible.

> Histórico. Biológicamente Imposible. Computacionalmente Posible.

> Global. Biológicamente Imposible. Computacionalmente Imposible.

6Ing. Rubén Parma

Carrera de Armas

Gen

erac

ione

s

Especie A Especie B

A1 B1

B2A1

A2 B2

B3A2

B3A3

B1A2

7Ing. Rubén Parma

Especie AEspecie B

Hipótesis de la Reina Roja

Generaciones

Ada

ptac

ión

8Ing. Rubén Parma

NeuroEvolución

> Evolución de los pesos sinápticos.

> Evolución de los pesos sinápticos y la topología.

Evolución AG

Evolución AG

9Ing. Rubén Parma

NEAT

> NeuroEvolution of Augmenting Topologies.

> Es una técnica utilizada para Evolucionar los pesos sinápticos y la topología de redes neuronales artificiales.

> Utiliza una codificación directa.

> Protege la aparición de nuevas estructuras (especiación).

> Inicia desde una topología sin capas ocultas.

1010Ing. Rubén Parma

Antecedentes de la Investigación

11Ing. Rubén Parma

Cliff y Miller

> Evolución Limitada de la Estructura/Morfología de sus criaturas.

> Función de Adaptación.

> Método para calcular la velocidad y el ángulo de las criaturas virtuales.

> Tiempo de 15 segundos.

12Ing. Rubén Parma

Nolfi y Floreano> Coevolucionaron depredadores y presas

para controlar el comportamiento en robots, no en criaturas virtuales.

> Implementaron el Salón de la Fama para evitar los ciclos en la Carrera de Armas (Propuesto por Rosin y Belew).

> Proponen el Torneo Maestro para evaluar el desempeño de las poblaciones.

13Ing. Rubén Parma

Miconi

> Define conceptos y terminología que aclara los resultados obtenidos.

> Define como pueden compararse dos o más individuos y como evaluar el progreso.

> También realizó aportes importantes en el área de coevolución, tanto de comportamiento como de morfología de criaturas virtuales, pero no con un modelo depredador-presa.

14Ing. Rubén Parma

Stanley y Miikkulainen

> Desarrollaron todo el marco de trabajo para realizar la Neuroevolución - NEAT.

Sims, Rada-Vilela

> Modelado de mundos, criaturas virtuales y vida artificial.

> Evolución de la morfología y su comportamiento de criaturas virtuales.

1515Ing. Rubén Parma

Experimento

16Ing. Rubén Parma

Sistema de Hipótesis

H1: La presencia de un progreso histórico no implica un progreso

global.

H2: Las criaturas virtuales son más exitosas cuando la topología de sus

respectivas redes neuronales artificiales son sometidas a evolución.

17Ing. Rubén Parma

Características de las Criaturas Virtuales

Depredador Presa

Controlador RNAN° SensoresPresencia 5

N° SensoresPared 4

Representación CirculoRango Giro 30°

Disposición Sensores

Hacia adelante, gran alcance y poca amplitud

Alrededor del cuerpo en 360°,

con alcance medioVelocidad max 10 px/c 8 px/c

Color y Forma Verde con Boca Amarillo sin Boca

18Ing. Rubén Parma

Mundo Virtual

19Ing. Rubén Parma

Parámetros del Experimento

Población Inicial 50 individuos p/e

Generaciones 100

Tiempo de cada corrida 15 segundosEnfrentamientos para evaluar un individuo 10

Experimento A Sin Evolución de la Topología

Experimento B Con Evolución de la Topología

Número de Corridas 5

Parámetros NEATRecomendados para

experimentos de control

20Ing. Rubén Parma

Función de Adaptación

> Distancia promedio entre los individuos por el número de éxitos obtenidos + 1.

> Depredador: Minimizarla.

> Presa: Maximizarla.

Debido a que NEAT sólo trabaja con maximización de funciones, para el caso del depredador se invierte la distancia promedio, restándola de la distancia diagonal del área (688 px).Es por esto que no se pueden comparar las adaptaciones de ambas especies.

21Ing. Rubén Parma

Corrida de algunos enfrentamientos

2222Ing. Rubén Parma

Resultados

23Ing. Rubén Parma

Hipótesis de la Reina RojaExperimento A. Promedio de las 5 corridas

24Ing. Rubén Parma

Reina RojaExperimento B. Promedio de las 5 corridas

25Ing. Rubén Parma

Carrera de Armas

Experimento A Experimento B

26Ing. Rubén Parma

Progreso GlobalExperimento A. Promedio de las 5 corridas

27Ing. Rubén Parma

Progreso GlobalExperimento B. Promedio de las 5 corridas

28Ing. Rubén Parma

Conclusión sobre la Hipótesis H1

Estos datos empíricos sugieren que NO DEBE SER RECHAZADA la hipótesis

de investigaciónH1: La presencia de un progreso histórico no

implica un progreso global.

29Ing. Rubén Parma

Comparación de Individuos

Depredadores PresasSin Evolución

de la Topología Clase A Clase A

Con Evolución de la Topología Clase B Clase B

Matrices de comparaciónDA vs PA PA vs DADB PBDA vs PB PA vs DBDB PB

30Ing. Rubén Parma

Comparación de IndividuosÉxito vs individuos clase A. Media y desviación estándar

31Ing. Rubén Parma

Comparación de IndividuosÉxito vs individuos clase B. Media y desviación estándar

32Ing. Rubén Parma

Prueba t de Student

Enfrentamientop-value Intervalo de

confianzaTipo de PruebaDep. Presa

Clase A Clase A 0,000984 -∞, -2,195 StudentClase B Clase AClase A Clase A 0,000007 -∞, -3,607 StudentClase A Clase BClase A Clase B 0,005079 -∞, -1,704 Student-

WelchClase B Clase BClase B Clase A 2,543e-32 -∞, -13,802 StudentClase B Clase B

33Ing. Rubén Parma

Conclusión sobre la Hipótesis H2

La evidencia estadística obtenida sugiere que NO DEBE SER RECHAZADA lahipótesis de investigación

H2: Las criaturas virtuales son más exitosas cuando la topología de sus respectivas

redes neuronales artificiales son sometidas a evolución.

34Ing. Rubén Parma

Fenotipos Finales de las RNA

3535Ing. Rubén Parma

Conclusiones

36Ing. Rubén Parma

Conclusiones

> Función de Adaptación.

> Carrera de Armas e Hipótesis de la Reina Roja.

> Evolución de la Topología de la RNA.

> Progreso Global.

3737Ing. Rubén Parma

Recomendaciones

38Ing. Rubén Parma

Recomendaciones

> Evolucionar el número, la disposición y características de los sensores de las criaturas virtuales.

> Identificar en que casos se pierden algunas características de persecución y escape.

> Probar con otras funciones de adaptación, como por ejemplo el tiempo.

> Enfrentar poblaciones depredadores y presas al mismo tiempo, buscando que también se dé un comportamiento cooperativo y un equilibrio natural entre las especies.

3939Ing. Rubén Parma

Comentarios

GRACIAS!!!