Pág

ina1

ARMAS BASADAS EN IA: ALGUNAS

CUESTIONES ÉTICAS

Por María Vanina Martínez y Ricardo Oscar Rodríguez

i

Departamento de Computación. FCEyN-UBA Instituto de Ciencias de la Computación. UBA-CONICET

1. INTRODUCCIÓN La Inteligencia Artificial (IA) es una tecnología de propósito general. En tal sentido puede

equipararse a muchos otros desarrollos disruptivos que ha producido la humanidad tales como: el

dominio del fuego, la rueda, la máquina de vapor, la electricidad, las computadoras, la internet,

etc. Hoy día, su capacidad disruptiva compite con la Nanotecnología, la Genética Molecular y hasta

la Química Fina. En particular con la segunda, comparte mucho de los desafíos éticos que

plantean.

Como indica el informe de Stanford (https://ai100.stanford.edu/2016-report): “Las

representaciones aterradoras y futuristas de la Inteligencia Artificial que dominan las películas y

las novelas, y que dan forma al imaginario popular, son ficticias. En realidad, la IA ya está

cambiando nuestra vida diaria, casi por completo en formas que mejoran la salud humana, la

seguridad y la productividad". Pero no todos los usos de la IA son beneficiosos. Algunos sistemas

basados en IA, manifiestan comportamientos no deseados: son opaco, tienen sesgos, son falibles,

etc.

En otro orden, el debate en La Haya (http://www.ecai2016.org/program/ai-and-human-values/)

concluyó citando al principal experto en Aprendizaje Automático Pedro Domingos: "las

computadoras son realmente tontas y han tomado el control del mundo. El mundo ya no puede

funcionar sin computadoras. Lo mejor sería que fueran más inteligentes.”

En resumen, no sólo necesitamos que esta tecnología mejore sustancialmente su potencia

intelectual, sino también que reduzca sus aspectos indeseables. Esto se vuelve fundamental en

sistemas de IA que trabajan en forma cooperativa o autónoma. Y se transforma en crítico, para las

armas basadas en IA.

Pág

ina2

En estas líneas no buscamos detectar peligros donde no los hay y evaluar los riesgos en exceso.

Sino establecer ciertos parámetros de análisis de la situación que puedan irse adaptando a medida

que los avances tecnológicos se vayan produciendo. El enfoque que debería practicarse es uno

basado en la ingeniería de seguridad, donde se consideren de ante mano todas (de manera

exhaustiva dentro de lo que es posible) las situaciones que pueden producir consecuencias no

deseadas, en lugar de actuar una vez que los sistemas fallen o no se comporten como esperamos.

En tal sentido trataremos de plantear situaciones que consideramos alcanzables en el corto y

mediano plazo, esto es antes que se alcance el punto de singularidad. Eso nos evitará tener que

discutir acerca planteos futuristas como el del hipotético dictado inmortal de Elon Musk.

El resto de este documento estará organizado de la siguiente manera. En la sección siguiente

plantearemos ciertos conceptos relevantes a la cuestión de fondo y describiremos algunos

problemas/desafíos que se plantean al incorporar la IA en armamento. En la tercera sección

discutiremos algunas posibles soluciones y en la últimas algunas conclusiones.

2. CONCEPTOS BÁSICOS Y PROBLEMÁTICA Un concepto central en el debate de IA y armamentismo es el de “autonomía”. De acuerdo con la

IEEE (acrónimo en inglés para Instituto de Ingeniería Eléctrica y Electrónica) un sistema autónomo

se define, en términos de ingeniería, como «un sistema que realiza sin supervisión, parcial o total,

una función que era previamente llevada a cabo, por un operador humano». Ese contexto del

control automático de ciertas funciones o tareas no sólo tiene impacto en la industria con sus

claras repercusiones en la eliminación de puestos de trabajo (desempleo tecnológico), sino

también en el ámbito militar. No es una novedad que, a lo largo de la historia, los militares han

intentado crear armamento autónomo. Pero en la actualidad, los vínculos de las fuerzas armadas

con la IA son cada vez más estrechos, dado que estas tecnologías pueden revolucionar la

seguridad nacional, mejorando las estrategias y la capacidad militar de los países. Tanto es así que

muchas revistas especializadas ya hablan de una nueva carrera armamentista.

En la actualidad ya existen aviones sin tripulación utilizados para misiones espías y para los

llamados bombardeos quirúrgicos comandados parcialmente a distancia. Mayor autonomía es

alcanzada por los drones que cubren tareas militares tanto de inteligencia como de ataque. Los

Submarinos de exploración son otro ejemplo de sistemas completamente autónomos en este caso

para alcanzar profundidades imposibles para vehículos tripulados. Finalmente existen un conjunto

de robots terrestres que van desde cuadrúpedos a vehículos con orugas o ruedas de muy

diferentes tamaños. Es importante señalar que los sistemas de IA no son en sí mismo un arma,

sino un facilitador, como la electricidad o un motor de combustión. Ellos le proveen a las armar

una dimensión que potencia su capacidad operativa.

Otro concepto importante es el de Aprendizaje Automático y Aprendizaje Profundo.

Esencialmente es una técnica de IA que permiten interpretar una gran cantidad de datos (del

Pág

ina3

orden de cientos de miles y hasta millones). Gracias al extensivo uso de las computadoras, nuestra

capacidad de recopilar y almacenar datos ha crecido exponencialmente. Estos algoritmos utilizan

esa enorme cantidad de datos para generar sistemas para realizar tareas. Por ejemplo, muchos de

los sistemas anti-spam de correos fueron generados a partir de analizar cientos de miles de

ejemplos y construir un patrón que le permita identificar un mensaje no deseado o malicioso. Algo

parecido sucede con los sistemas de reconocimiento de objetos en imágenes satelitales. En

términos generales estos algoritmos extrapolan patrones de la jungla de situaciones analizadas

que le permite tomar decisiones en situaciones con las que

no se había enfrentado. Justamente dado que la materia

prima de estos algoritmos es esencialmente los ejemplos

que les damos, debemos ser cuidadosos en la elección de los

mismo. Si estos presentan algún sesgo, entonces el patrón

generado también lo tendrá. Por ejemplo, si el algoritmo de

Aprendizaje Profundo es utilizado para generar su sistema

de otorgamiento de préstamos bancarios y todos los

ejemplos para entrenarlo son de créditos otorgados a

hombres y de créditos rechazados a mujeres, entonces

seguramente ante una solicitud realizada por una mujer, el

sistema recomendará su rechazo, porque ello estaba

implícito en los ejemplos que le ofrecimos para generar el

patrón. Por supuesto que este ejemplo está muy

simplificado para que se entienda la idea, pero la realidad es

mucho más compleja y sutil.

Otro concepto relevante es el de “Aprendizaje Dinámico”,

entendiendo por ello los sistemas de aprendizaje automático

que van “perfeccionando” el modelo o patrón inicial a partir

de la interacción con el medio. Consideremos nuevamente el

ejemplo anterior de sistema de préstamos bancarios y

después del primer entrenamiento le empezamos a mostrar

ejemplo de créditos otorgados a mujeres. Muy

probablemente el sexo deje de ser un factor excluyente y sean otros las causas determinantes

para realizar la recomendación. Pero por supuesto, eso dependerá esencialmente de los ejemplos

de entrenamiento. En ese sentido vale citar el ejemplo de un chatbot (un robot que interactúa en

un chat) con aprendizaje dinámico que construyó Microsoft que generaba tweets usando los

ejemplos del propio chat y de la interacción. Al final del día de su lanzamiento, el sistema ya

mostraba comportamientos racistas, homofóbicos y antisemitas.

Otra cuestión importante es la de “Explicación del Razonamiento”. Tal como hemos dicho, los

sistemas a partir de la técnica de aprendizaje automático son construidos por entrenamiento a

No es una novedad que, a lo

largo de la historia, los militares

han intentado crear armamento

autónomo. Pero en la

actualidad, los vínculos de las

fuerzas armadas con la IA son

cada vez más estrechos, dado

que estas tecnologías pueden

revolucionar la seguridad

nacional, mejorando las

estrategias y la capacidad

militar de los países. Tanto es

así que muchas revistas

especializadas ya hablan de una

nueva carrera armamentista.

Pág

ina4

partir de millares de ejemplos que esencialmente permiten generan patrones. Pero dichos

sistemas, en esencia, no tienen capacidad de “rendir cuentas” por la decisión propuesta o tomada.

Es decir, no es posible entender porque fue rechazada una solicitud de empleo, préstamo, vacante

para un curso, etc. Esto impide que pueda cuestionarse o validarse la recomendación del sistema.

Esencialmente funcionan como cajas negras. Pero eso resulta una limitación muy fuerte para

evaluar o verificar la decisión que toma un sistema autónomo. Supongamos que un tanque sin

conductor observa el comportamiento de un grupo de personas y predice que están preparando

un acto terrorista, recomendando realizar un ataque fulminante para evitarlo. Asumamos,

además, que el sistema pretende respetar los principios del Derecho Internacional Humanitario de

humanidad y distinción, y que asimismo la decisión final la toma un humano. Por último,

imaginemos que el humano a cargo remotamente puede observar que los supuestos terroristas no

portan armas. ¿Cómo puede el operador tomar la decisión final si el sistema in situ no es capaz de

explicar porque recomienda un ataque letal? Y si tomara la decisión equivocada ¿Quién sería el

responsable?

Argumentos como este son lo que marcan cuán imprescindible es que los sistemas militares

basados en IA estén provistos de módulos de “sentido común” humano. De lo contrario, ¿Qué

habría ocurría, por ejemplo, si tuviera que evaluar una alarma nuclear como la del "Incidente del

equinoccio de otoño"?

DARPA (la agencia científica norteamericana en seguridad nacional) sostiene fuertemente la

necesidad de que los sistemas de IA tengan capacidad de razonamiento conceptual. Tanto es así,

que para promover su desarrollo tienen un programa de financiamiento específico de proyectos

de investigación orientados a esta temática. Ellos señalan que proveer a las sistemas de IA de esa

capacidad de dar cuenta de sus actos y decisiones, es imprescindible en el corto plazo para su

supervisión, pero más aún en el largo plazo, para permitir la colaboración (ver

https://www.darpa.mil/program/explainable-artificial-intelligence).

Para finalizar esta sección es relevante señalar que muchos autores consideran que, dado que las

normas de la "guerra autónoma" no están definidas, cuanto más tiempo tardemos en precisarlas

mayor será el riesgo de que se produzca una "escalada involuntaria".

La mayoría de los líderes políticos expresan preocupación por la carrera armamentística

inteligente, y consideran que el uso militar de la IA es inevitable, pero por otro lado están

embarcándose en ella muy agresivamente. Algo parecido está ocurriendo con el desarrollo de

técnicas de edición genética del ADN humano mediante la técnica de CRISPR/cas9 permitiendo

que unas mellizas sean inmunes al HIV. En ambos casos no hay normativas que prohíban o regulen

tanto el uso militar de la IA como de la edición genética en humanos.

3. PROPUESTAS

Pág

ina5

El debate que dio lugar a la “Declaración de Barcelona” para un desarrollo y uso adecuados de la

inteligencia artificial en Europa, destaca seis puntos en el desarrollo y el uso de la inteligencia

artificial que nos gustaría reproducir aquí. El primero es la prudencia, la necesidad de ser

conscientes de que todavía queda por resolver un gran número de obstáculos científicos y

técnicos, en particular el problema del sentido común. El segundo hace referencia a la fiabilidad,

esto es, que los sistemas de inteligencia artificial deben someterse a pruebas que determinen su

fiabilidad y seguridad. Otro aspecto es la rendición de cuentas: cuando un sistema toma

decisiones, las personas afectadas por ellas tienen que poder recibir, en unos términos de lenguaje

que entiendan, una explicación de por qué las ha tomado, y tienen que poder cuestionarlas con

argumentos racionales. Se apunta también al criterio de responsabilidad. Debe quedar claro si la

interacción se hace con una persona o con un sistema de inteligencia artificial, y, en el segundo

caso, debe poderse localizar e identificar a los responsables de él. Otra cuestión es la autonomía

limitada de estos sistemas. Se necesita disponer de reglas claras que limiten el comportamiento

de los sistemas de inteligencia artificial autónomos para que los encargados de desarrollarlos

puedan incorporarlos en sus aplicaciones. Y, por último, debe quedar claro el papel que

desempeña el ser humano. Esto último es fundamental para establecer el respecto al Derecho

Internacional Humanitario.

En forma ortogonal a estos criterios, podemos recopilar dos posturas para abordarlos, que se

están planteando en distintos ámbitos de investigación y desarrollo. Por un lado, la gobernancia y

por el otro, la ética por diseño. Estas posturas, ubican a los sistemas inteligentes de manera

distinta en su relación con los seres humanos, pero ambas requieren una especificación formal de

un cuerpo de conocimiento que represente un conjunto de valores que los seres humanos

consideran importantes. El primer obstáculo surge al intentar determinar cuál debería ser ese

conjunto de valores y que represente la postura ética/moral de la sociedad. Independientemente

de este problema, que es en sí muy importante desde el punto de vista de implementación, una

cuestión igualmente relevante es como representar de manera formal esos valores,

asegurándonos que esa especificación corresponda exactamente con lo que se espera de la

utilización del sistema inteligente.

3.1 GOBERNANCIA: REGULACIÓN Y VERIFICACIÓN

La gobernancia implica determinar los límites de las acciones y decisiones de los sistemas

autónomos ante una determinada entrada. El monitoreo, verificación y potencial bloqueo de las

salidas de los sistemas se preserva para asegurar que se mantienen dentro de los criterios éticos

delimitados o tolerados para el dominio de aplicación.

Esta postura supone en principio que el sistema inteligente está subordinado al usuario humano y

es este último quien toma eventualmente las decisiones o al menos aquellas que pueden tener

efectos indeseables. Por otro lado, no requiere que se modifique el sistema internamente o se

exponga sus particularidades funcionales, sino que de alguna manera se intenta controlar las

Pág

ina6

decisiones del sistema por medio de la observación del comportamiento de este determinado por

el tipo de salida que se obtiene ante determinadas entradas. La “caja negra” es observada y

controlada “desde afuera”.

En recientes discusiones del Grupo de Expertos

Gubernamentales sobre Sistemas de Armas Completamente

Autónomos (dependiente de Convenio sobre Ciertas Armas

Convencionales) se planteó una cuestión preliminar que

establece tanto obligaciones positivas y prohibitivas para el

uso y desarrollo de armas autónomas, ambas centradas en el

concepto de “control humano significativo” (meaningful

human control, en inglés). Este enfoque refleja que debe existir

alguna forma de control (ya sea por medio de intervención o

asumiendo responsabilidad) por parte del usuario humano en

situaciones donde corren riesgo vidas humanas. La idea de

meaningful human control evita el problema de determinar

dónde comienza y dónde termina la autonomía del sistema

inteligente, sin embargo, es inevitable caer en el problema de

la definición adecuada de los términos “significativo” y

“control”. Esta definición debería ser tal que implique una

intervención no superficial del usuario humano.

La definición específica de estos términos debe estar en

sincronía con las capacidades del sistema inteligente; más allá

de la autonomía y la capacidad de toma de decisiones, la

habilidad del sistema de poder explicar decisiones (detección o

identificación de targets, planificaciones, etc.) en base a la

información que posee y que ha utilizado en el proceso, es

primordial. Esta capacidad, que no es un requerimiento técnico

(el sistema puede funcionar perfectamente sin la misma),

debería ser, sin embargo, un requerimiento funcional

estandarizado en cualquier sistema de toma de decisiones,

sobre todo en aquellos que interactúan con usuarios humanos y cuyo accionar pueda tener

incidencia directa en vidas humanas.

La implementación de un sistema de gobernancia sobre el accionar de cualquier tipo de sistema,

implica también la necesidad de generar una estructura que sea capaz de generar y aplicar los

protocolos necesarios, pero también de monitorear, verificar y corregir (de ser necesario) la

consistencia de las distintas instituciones que la componen.

Existe una limitación muy

fuerte para evaluar o

verificar la decisión que

toma un sistema

autónomo.

Los sistemas a partir de la

técnica de aprendizaje

automático son

construidos por

entrenamiento a partir de

millares de ejemplos que

esencialmente permiten

generan patrones. Pero

dichos sistemas, en

esencia, no tienen

capacidad de “rendir

cuentas” por la decisión

propuesta o tomada.

Pág

ina7

3.2 ÉTICA POR DISEÑO Y ALINEAMIENTO DE VALORES

Una pregunta interesante que surge ante el potencial que presentan los sistemas inteligentes es si

es posible dotarlos a ellos mismos con capacidades de razonamiento ético. Es decir, diseñar los

sistemas de manera tal que tengan en cuenta consideraciones éticas al momento en que toman

las decisiones. De esta manera, los sistemas podrían, durante el proceso de razonamiento, pesar

distintas situaciones u opciones en base a conocimiento de índole ético/moral o que represente

de alguna manera los valores de ese estilo que los usuarios humanos esperan o consideran

aceptables.

Le ética por diseño es, entonces, el intento sistemático de incluir valores de importancia ética en el

diseño de un sistema autónomo e inteligente, y el conjunto de herramientas y formalismos

necesario para garantizar que el comportamiento del sistema permanece dentro de esos límites

morales proporcionados. Este enfoque tiene como meta que los valores en sí, las potenciales

prioridades y opciones que existan entre ellos sean explícitos, transparentes y verificables.

La ética por diseño implica que debemos considerar cómo construir un algoritmo que puede

diferenciar entre opciones éticas y las que no lo son. Cómo decide un ser humano entre estas

opciones ha sido el foco de estudio en muchas disciplinas de forma extensiva. La pregunta es

entonces, si en base a esos estudios podemos extrapolar formalismos para los sistemas. Desde un

punto de vista técnico poder formalizar valores y/o normas éticas o morales es una tarea muy

compleja por distintas razones, entre las cuales podemos destacar la subjetividad de la mayoría de

los conceptos o teorías éticas y algo sumamente importante que es el uso de sentido común en la

interpretación de dichos conceptos; la mayoría del tiempo, los humanos “completamos” criterios

éticos, reglas o normas con conocimiento de cómo funciona el mundo que nos rodea

(circunscripto a la familia, sociedad, país, humanidad, etc.). Incluso en conjunto de normas de

buen comportamiento en el ámbito laboral contiene muchos “huecos” en la especificación que

son dejados a la interpretación del receptor de las mismas. Estas dos características hacen que

técnicamente sea muy difícil poder representar de manera precisa estas consideraciones en un

lenguaje formal y que sea la herramienta mediante la cual un sistema computacional retiene y

“entiende” el conocimiento.

La ética por diseño en el contexto de un arma inteligente sugiere que dicho sistema pueda razonar

internamente sobre las implicancias éticas que tienen las observaciones que hace del entorno y de

las decisiones y acciones que considera necesarias para cumplir con su objetivo. Como un caso

interesante, podríamos pensar, por ejemplo, en el criterio de “control humano significativo” que

discutimos previamente. De manera ortogonal y en adición a un proceso de control y verificación

externo que asegure el traspaso de control al operador humanos, podemos pensar en que la

misma máquina tome la decisión de devolver el control al humano cuando considere que no es

“capaz” de tomar la decisión desde el punto de vista ético. Claramente, la máquina podría hacer

una evaluación de la situación mucho más rápido que un humano, sin embargo caemos de nuevo

Pág

ina8

en el problema de la representación de conocimiento, y en poder especificar de manera formal las

condiciones que identifican esas situaciones en las cuales la máquina debe darse cuenta que la

decisión la excede.

4. CONCLUSIONES El principal problema al que se enfrenta la inteligencia artificial puede resumirse en la adquisición

de conocimientos de sentido común. Este constituye el requisito fundamental para que los

sistemas actuales sustituyan la inteligencia artificial especializada por una de tipo general.

Un enfoque interesante para dotar de sentido común a las máquinas es la denominada cognición

situada. Consiste en ubicar a las máquinas en entornos reales con el fin de que tengan

experiencias que les doten de sentido común mediante aprendizaje basado en el desarrollo

mental. La cognición situada requiere que la inteligencia artificial forme parte de un “cuerpo”. Este

resulta determinante para la inteligencia, ya que los sistemas perceptivo y motor definen lo que

un agente puede observar y las interacciones que establece con su entorno.

Precisamente las capacidades más complicadas de desarrollar son las que requieren interaccionar

con entornos no restringidos: percepción visual, comprensión del lenguaje, razonamiento con

sentido común y toma de decisiones a partir de información incompleta. Diseñar sistemas con

estas capacidades exige integrar desarrollos en muchas áreas de la inteligencia artificial. En

particular, necesitamos lenguajes de representación de conocimientos que codifiquen información

sobre numerosos tipos de objetos, situaciones, acciones, así como sobre sus propiedades y las

relaciones entre ellos. También nos hacen falta nuevos algoritmos que, partiendo de estas

representaciones, puedan razonar y aprender de forma robusta y eficiente sobre prácticamente

cualquier tema.

A todas estas dificultades técnicas, tenemos que sumar las cuestiones éticas mencionadas en las

secciones anteriores. Creemos que la resolución de ambas clases de limitaciones -técnicas y éticas-

tienen que ser resueltas a la par. Para que las primeras no avasallen a las segundas, y para que las

segundas no frenen el avance tecnológico. En particular quienes suscribimos este artículo, no

creemos que sea necesaria una moratoria para el uso de técnicas de IA en determinados ámbitos

sensibles como plantean un grupo de destacados investigadores sobre el uso del CRISPR/cas9.

Pero si consideramos que es necesario avanzar en los siguientes aspectos:

1) La promulgación de códigos éticos para la aplicación de técnicas de IA en cualquier

dispositivo. Según estos principios, los sistemas inteligentes no podrían cometer ilícitos, ni

atentar contra la integridad física o psicológica de las personas.

2) Definir criterios de legislación vinculante y no vinculante (derecho duro y blando) en el uso

de la IA.

3) La prohibición del desarrollo de los SAALs (A Treaty of Non-Development of Lethal

Autonomous Weapons Systems) antes que las mismas sean tecnológicamente factibles de

Pág

ina9

ser construidas. En la actualidad los conocimientos científicos y tecnológicos no han

alcanzado la envergadura y desarrollo suficiente para la construcción efectiva de este tipo

de armamentos, pero se estima que los mismos serán alcanzados en las próximas décadas.

El establecimiento anticipado de normativas internacionales que prohíban su desarrollo

busca evitar las condiciones especiales que se dieron en el Tratado de No-proliferación de

Armas Nucleares donde cinco países se arrogaron el derecho de poseer armas nucleares

por el simple hecho de haber realizado ensayos previos a la firma del mismo.

4) Promover más proyectos de investigación interdisciplinarios para estudiar los efectos

socioculturales producto del desarrollo de sistemas de IA y su implicancia ética y moral en

la sociedad.

5) Incentivar la conformación de foros multidisciplinarios (que incluyan, entre otros,

psicólogos, sociólogos, politólogos, filósofos, computadores científicos, economistas,

legisladores, etc.) para discutir y brindar orientación sobre temas emergentes relacionados

con el impacto de la I.A. en la sociedad.

6) La enseñanza de aspectos éticos en las carreras de formación de profesionales que

desarrollarán estas nuevas tecnologías.

7) Impulsar un tratado internacional de no-desarrollo de SAALs, que debería basarse en al

menos dos pilares: el no-desarrollo y el uso de la Inteligencia Artificial sólo para fines

pacíficos. Para lo cual debería conformarse una Agencia Internacional de Inteligencia

Artificial (en el marco de la ONU) que sea el ente de control de aplicación de las normas

que surjan del tratado.

8) Desarrollar un protocolo de impacto social que permita evaluar la pertinencia o no de

lanzar al mercado un nuevo producto que utilice técnicas de IA.

Algunas de estos aspectos ya están siendo resueltos unilateralmente por varias empresas como

Tweeter, Facebook, Google, Microsoft, etc. Sin embargo creemos que los actores sociales, como

los científicos, los ciudadanos y los estados, no deberían delegar en la industria el rol de fijar las

reglas e iniciativas de regular y legislar acerca del desarrollo de los sistemas de IA (ver

https://www.nature.com/articles/d41586-019-01413-1).

i María Vanina Martínez es Dra. en Ciencias de la Computación, investigadora adjunta del CONICET, trabajando en el Instituto de Ciencias de la Computación (CONICET - UBA) y profesora en el Departamento de Computación de la UBA. Sus intereses de investigación se enfocan en el desarrollo de modelos para la representación de conocimiento en sistemas de apoyo a toma de decisiones basados en Inteligencia artificial.

Ricardo Oscar Rodríguez es Dr. en Ciencias de la Computación con especialización en Inteligencia Artificial. Es Profesor Asociado en el Departamento de Computación, FCEyN-UBA y miembro del Instituto de Ciencias de la Computación (UBA-CONICET). Sus trabajos científicos se inscriben en el desarrollo de modelos lógicos para el razonamiento bajo incompletitud e incertidumbre. Ha sido co-chair y finacial chair de IJCAI2015.