Máster en Desarrollo de Software - Universidad de Granada

Preview:

Citation preview

Máster en Desarrollo de Software

Prof. Ramón López-Cózar Delgado

Sistemas de Diálogo Hablado y Multimodal

Procesamiento

del Habla

en Call Centers

Automáticos

Interacción

Multimodal

en Entornos

de Inteligencia

Ambiental

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal2

Puntos a tratar

1. Investigación

2. Cursos del Máster

3. Trabajos de Fin de Máster

4. Profesorado

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal3

http://sisdial.ugr.es

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal4

1. Investigación

1.1 Procesamiento del habla

1.2 Interacción multimodal

1.3 Inteligencia Ambiental (AmI)

1.4 Computación afectiva

1.5 Desarrollo de Voice apps en Android

1.6 Interacción humano-robot

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal5

1.1 Procesamiento del habla

� Reconocimiento automático del habla

� Comprensión del habla

� Gestión del diálogo hablado persona-ordenador

� Generación del habla

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal6

1.1 Procesamiento del habla: Sistemas de diálogo

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal7

1.1 Procesamiento del habla: Sistemas de diálogo

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal8

1.1 Procesamiento del habla: Sistemas de diálogo

RAH

RAH

Comprensión

Comprensión

Gestor diálogo

Gestor diálogo

GLN

GLN

Sintetizador

Sintetizador

Vocabulario,

modelos acústicos

y de lenguaje

Vocabulario,

modelos acústicos

y de lenguaje

MemoriaMemoria

Voz

Usuario

Voz

Usuario

Voz

sistema

Voz

sistema

Palabras y

reglas de

gramática

Palabras y

reglas de

gramática

Patrones y

reglas

Patrones y

reglas

Interfaz de EntradaInterfaz de Entrada Interfaz de SalidaInterfaz de Salida

Palabras

reconocidas

Palabras

reconocidas

Representación

semántica

Representación

semántica

Información

a generar

Información

a generar

Expectativas

Expectativas

Frases en

formato texto

Frases en

formato texto

Modelo de

diálogo,

estrategias

Modelo de

diálogo,

estrategias

Base datos localBase datos local Base datos remotaBase datos remota

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal9

1. Investigación

1.1 Procesamiento del habla

1.2 Interacción multimodal

1.3 Inteligencia Ambiental (AmI)

1.4 Computación afectiva

1.5 Desarrollo de aplicaciones en Android

1.6 Interacción humano-robot

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal10

1.2 Interacción multimodal

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal11

1.2 Interacción multimodal

Aut. speechrecognition

Handwritingrecognition

Gesturerecognition

Lipreadingrecognition

Faceloc. & track.

Nat. lang.generation

Graphicgeneration

Speechsynthesis

Multimodaldata storage

Gazetracking

Nat. lang.processing

DatabaseTask

Multimodaldata fusion

Dialoguemanager

Responsegenerator

Input interface

Output interface

Multimodal processing

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal12

1.2 Interacción multimodal

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal13

1. Investigación

1.1 Procesamiento del habla

1.2 Interacción multimodal

1.3 Inteligencia Ambiental (AmI)

1.4 Computación afectiva

1.5 Desarrollo de Voice apps en Android

1.6 Interacción humano-robot

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal14

1.3 Inteligencia Ambiental (AmI)

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal15

1.3 Inteligencia Ambiental (AmI)

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal16

1.3 Inteligencia Ambiental (AmI)

Home.cfg

ROOMS

APPLIANCES

Home.cfg

ROOMS

APPLIANCES

Light.xml(SRGS Grammar)

ACTIONS

Light.xml(SRGS Grammar)

ACTIONS

Light.cfg

ATTRIBUTES

VALUES

(range)

Light.cfg

ATTRIBUTES

VALUES

(range)

SPEECH

INTERFACE

GUI

INTERFACE

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal17

1. Investigación

1.1 Procesamiento del habla

1.2 Interacción multimodal

1.3 Inteligencia Ambiental (AmI)

1.4 Computación afectiva

1.5 Desarrollo de aplicaciones en Android

1.6 Interacción humano-robot

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal18

1.4 Computación afectiva

� Objetivo

– Lograr interfaces más naturales

� Aproximaciones

– Detección de estados emocionales de usuarios

– Generación de estados emocionales en usuarios

� Tarea muy dificultosa

– No se comprende totalmente como ser humano “procesa” las emociones

– Subjetividad de las emociones

– Conocimiento disperso en varias disciplinas

– Número limitado de emociones para tener éxito

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal19

ASR

NLP

Dialog Manag.

NLG

Synthesiser

Memory

User

voice

System

voice

Input Interface

Output

Interface

Recognised

words

Semantic

representation

Response

to generate

Response in

text form

at

Emotion

Detection

� Detección de estados emocionales de usuarios

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal20

1. Investigación

1.1 Procesamiento del habla

1.2 Interacción multimodal

1.3 Inteligencia Ambiental (AmI)

1.4 Computación afectiva

1.5 Desarrollo de Voice apps en Android

1.6 Interacción humano-robot

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal21

1.5 Desarrollo de Voice apps en Android

Objetivo: comunicarnos con nuestros smarphones y smart devices de forma más natural y flexible•Desarrollo de asistentes personales•Desarrollo de interfaces para nuevos dispositivos

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal22

1. Investigación

1.1 Procesamiento del habla

1.2 Interacción multimodal

1.3 Inteligencia Ambiental (AmI)

1.4 Computación afectiva

1.5 Desarrollo de Voice apps en Android

1.6 Interacción humano-robot

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal23

1.6 Interacción humano-robot

Objetivo: dotar a los robots de capacidades conversacionales:• Modelos del usuario• Modelos del diálogo humano-robot

• Modelos de personalidad para el robot

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal24

Bibliografía

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal25

Bibliografía

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal26

Puntos a tratar

1. Investigación

2. Cursos del Máster

3. Trabajos de Fin de Máster

4. Profesorado

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal27

2. Cursos del Máster

� Procesamiento del Habla en Call-Centers

Automáticos (PHCCA)

�2 ETCS

�Profesorado:

– Zoraida Callejas Carrión (UGR)

–Ramón López-Cózar Delgado (UGR)

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal28

2. Cursos del Máster

� Interacción Multimodal en Entornos de

Inteligencia Ambiental (IMEIA)

�2 ECTS

�Profesorado

– Zoraida Callejas Carrión (UGR)

–Ramón López-Cózar Delgado (UGR)

–Germán Montoro Manrique (Univ. Autónoma de Madrid)

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal29

Puntos a tratar

1. Investigación

2. Cursos del Máster

3. Trabajos de Fin de Máster

4. Profesorado

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal30

3. Oferta de Trabajos de Fin de Máster

� Cualquier trabajo relacionado con los temas de investigación comentados

� Ejemplo de TFM sobre “Procesamiento del habla”

– “Centralita Avanzada: Integración y Desarrollo

de una Centralita VoIP con un Sistema de

Procesamiento del habla”

�Autor: Jesús Gumiel Ramírez

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal31

3. Oferta de Trabajos de Fin de Máster

� Ejemplo de TFM sobre “Sistemas de diálogo”

– “Técnicas de Evaluación de Sistemas de

Diálogo: Aplicación al Sistema Mayordomo”

�Autora: Nieves Ábalos Serrano

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal32

3. Oferta de Trabajos de Fin de Máster

� Ejemplo de TFM sobre “Interacción Multimodal”

– “ORIENTA: Un Asistente Multimodal para la

Educación Universitaria”

�Autora: Ana María Gutiérrez Castillo

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal33

3. Oferta de Trabajos de Fin de Máster

� Ejemplo de TFM sobre “Inteligencia Ambiental”

– “Diseño y Desarrollo de una Habitación

Inteligente con Interfaz del Habla y Localización

de Usuarios”

�Autor: Gonzalo Espejo Pérez

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal34

3. Oferta de Trabajos de Fin de Máster

� Ejemplos de TFM sobre “Computación afectiva”

– “Análisis de requisitos y diseño de una

aplicación para el desarrollo y evaluación de la

capacidad de reconocimiento de emociones de

los niños con trastorno del espectro autista”

�Autora: Mª Isabel Molina Caballero

– “Emotional Space: The Soul of Emotions – A

representation system of emotions for affective

computing”

�Autor: Fernando J. Porcel Sánchez

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal35

3. Oferta de Trabajos de Fin de Máster

� Ejemplo de TFM sobre “Desarrollo de apps en Adroid”

– “Desarrollo de una app Android para el control

remoto de una TV-Box”

�Autor: José Alfonso Albarral Camino

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal36

3. Oferta de Trabajos de Fin de Máster

� Ejemplo de TFM sobre “Interacción humano-robot”

– “Desarrollo de un agente cuentacuentos infantil

expresivo con modelo afectivo y de

personalidad”

�Autor: Ángel Ariza Osuna

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal37

Puntos a tratar

1. Investigación

2. Cursos del Máster

3. Trabajos de Fin de Máster

4. Profesorado

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal38

4. Profesorado

� Zoraida Callejas Carrión

Dpto. LSI, UGR, Telf. 958240580

zoraida@ugr.es

� Ramón López-Cózar Delgado

Dpto. LSI, UGR, Telf. 958240579

rlopezc@ugr.es

� Germán Montoro Manrique

Dpto. Ingeniería Informática

Universidad Autónoma de Madrid, Telf. 914972210

German.Montoro@uam.es

Grupo de investigación SISDIAL – Sistemas de Diálogo Hablado y Multimodal39

¿Preguntas?

Gracias por la

atención

Recommended