View
231
Download
0
Category
Preview:
Citation preview
1
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Dr. Luis A. Pineda
IIMAS, UNAM, México
Mayo, 2006
Sistemas Conversacionales en Sistemas Conversacionales en
Español Hablado: Español Hablado: Una reflexión desde el proyecto DIMEUna reflexión desde el proyecto DIME
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Objetivos del Proyecto DIMEObjetivos del Proyecto DIME
� Construcción de sistemas conversacionales
– En español hablado
– Multimodales (e.g. Interfaz gráfica, robots
móviles)
� Basados en la definición de Modelos de diálogos
� Base empírica:
– Fonética & prosodia
– Inf. léxica, sintáctica & semántica
– Inf. pragmática
El Proyecto DIME, DCC-IIMAS, UNAM 2006
ContenidoContenido
�Modelos de diálogos
�El estado del arte...
�El Corpus DIME
�El esquema DIME-DAMSL
�Predicción de actos del habla
�Reconocimiento de voz
�Participantes
El Proyecto DIME, DCC-IIMAS, UNAM 2006
ContenidoContenido
�Modelos de diálogos
�El estado del arte...
�El Corpus DIME
�El esquema DIME-DAMLS
�Predicción de actos del habla
�Reconocimiento de voz
�Participantes
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Modelos de diálogosModelos de diálogos
� La situación conversacional
– Estado informacional
– Orientada hacia una modalidad
– Conjunto de intenciones específicas
– Conjunto de actos del habla que expresan
dichas intenciones
– Conjunto de acciones lingüísticas (actos
retóricos) o motoras que las satisfacen
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Situación conversacionalSituación conversacional
sisi-1 si+1
SpAct:RhtAct SpAct:RhtAct
En cada situación sólo un pequeño conjunto
de intenciones es relevante
2
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Situación conversacionalSituación conversacional
sisi-1 si+1
SpAct:RhtAct SpAct:RhtAct
Input SpAct
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Situación conversacionalSituación conversacional
sisi-1 si+1
SpAct:RhtAct SpAct:RhtAct
RhtAct
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El modelo básicoEl modelo básico
� Modelo de la conversación:
– Conjunto de modelos de diálogos
� Modelo de diálogo:
– Conjunto de situaciones
– Relaciones entre situaciones: pares acto
del habla y acto retórico
� Especificación declarativa a partir del
análisis de la tarea
El Proyecto DIME, DCC-IIMAS, UNAM 2006
MD = Sistema IntérpreteMD = Sistema Intérprete
Modelos de diálogo
(Exp. Reg.)
Intérprete
Acto
del
Habla
Acto
Retórico
Red de transición aumentada
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Generación (acción)Generación (acción)
Actos retóricos básicos
(Específicos a la modalidad)
IntérpreteActo
Retórico
Texto
(acción)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Okey, vamos a inteligencia artificial
El robot se desplaza a IA
Esta es el área de inteligencia artificial; podemos
hacer la visita por personal académico, ara o
proyectos
¿Cómo quieres hacer la visita?
Confirmación
Acto motor
Introducción
Opción- abierta- como
s5
Inteligenciau4
El departamento tiene las áreas de inteligencia
artificial, reconocimiento de patrones y lenguajes
de programación
¿Qué área quieres vistar?
Introducción
Opción- abierta- que
s3
Si, por favoru2
Bienvenido
Este es el departamento de ciencias de la
computación
¿Quieres una visita guiada?
Saludo
Presentación
Oferta- S/N
s1
TextoActo RetóricoPart.turno
Platicando con Golem!
3
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Okeyu10
En inteligencia artificial se desarrollan los
proyectos DIME y GOLEM
Las tareas principales son la creación de
prototipos con manejadores de diálogos
inteligentes con entrada y salida hablada en
español, y visión por computadora
Terminamos con proyectos de inteligencia
artificial
¿Quieres seguir visitando inteligencia artificial?
Presentación
Elaboración
Notificación
Opción- s/n
s9
Por proyectosu8
Perdón... No te entendí!
¿Podrías repetirlo?
Error
Solicitud- repetición
s7
Por proysu6
TextoActo RetóricoPart.turno
Platicando con Golem!
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Terminamos con inteligencia artificial
Gracias por visitar inteligencia artificial
¿Quieres seguir visitando el departamento?
Notificación
Agradecimiento
Opción- s/n
s15
nou14
En inteligencia artificial se investiga en sistemas
multimodales inteligentes, gramáticas
computacionales del español, razonamiento
gráfico y creatividad
Y también visión por computadora
Terminamos con área de inteligencia artificial
¿Quieres seguir visitando inteligencia artificial?
Presentación
Elaboración
Notificación
Opción- s/n
s13
Por áreasu12
Inteligencia artificial tiene personal académico y
áreas
Cómo quieres visitar inteligencia artificial
Introducción
Opción- abierta- como
s11
TextoActo RetóricoPart.turno
Platicando con Golem!
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Gracias por el departamento de ciencias de la
computación
Hasta luego
Agradecimiento
Despedida
s17
No, graciasu16
TextoActo RetóricoPart.turno
Platicando con Golem!
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
ContenidoContenido
�Modelos de diálogos
�El estado del arte...
�El Corpus DIME
�El esquema DIME-DAMSL
�Predicción de actos del habla
�Reconocimiento de voz
�Participantes
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El proyecto PLOWEl proyecto PLOW
(James (James AllenAllen & & LucianLucian
GalescuGalescu))
4
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Tipos de Modelos de DiálogoTipos de Modelos de Diálogo
� Proposicional:
– Intenciones concretas
– Interpretación de actos del habla: Claves léxicas &
modelos del lenguaje (e.g. Estocásticos y/o
expresiones Regulares)
� Predicativos:
– Intenciones específicadas dinámicamente
– La interpretación de actos del habla depende del
discurso (historia) y del contexto (indexical)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Modelos de diálogos Modelos de diálogos
predicativospredicativos
si
SpAct(H,C):RhtAct(H,C)
f(H,C)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
ContenidoContenido
�Modelos de diálogos
�El estado del arte...
�El Corpus DIME
�El esquema DIME-DAMLS
�Predicción de actos del habla
�Reconocimiento de voz
�Participantes
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Interfaz gráficaInterfaz gráfica
Home Designer
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Corpus DIMECorpus DIME
� 15 sujetos
� 26 diálogos útiles
� 880 palabras por diálogo
� 185 elocuciones
� 115 turnos
� 14 minutos
� 1120 palabras (tipos)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Alófonos (T54)
D12, utt3: u: ¿Puedes mover la estufa hacia la izquierda?
5
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Sílabas fonéticas
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Palabras (ortográfica)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Break indices de ToBI
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Part of Speech (P.O.S.)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
BTM
LH
L UH
D H
L
H
D12, utt3: u: ¿Puedes mover la estufa hacia la izquierda?
Etiquetación prosódica con INTSINT
El Proyecto DIME, DCC-IIMAS, UNAM 2006
ContenidoContenido
�Modelos de diálogos
�El estado del arte...
�El Corpus DIME
�El esquema DIME-DAMLS
�Predicción de actos del habla
�Reconocimiento de voz
�Participantes
6
El Proyecto DIME, DCC-IIMAS, UNAM 2006
DIMEDIME--DAMSLDAMSL
�DIME:
– Diálogos Inteligentes Multimodales en
Español
�DAMLS:
– Dialog Act Markup in Several Layers
– Se asume que los actos del habla son
independientes del contexto de la
transacción!
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Estructura del diálogoEstructura del diálogo
�Los diálogos se modelan como una
secuencia de transacciones
�Cada transacción involucra dos planos:
– Obligaciones conversacionales
– Conocimiento compartido “Common
ground”:
�Acuerdo
�Entendimiento
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Estructura de la transacciónEstructura de la transacción
�Especificación de la intención:
– Usuario expresa intención
– Sistema interpreta intención
�Satisfacción de la intención:
– Sistema proporciona información o
realiza acción
– Sistema solicita confirmación
– Usuario confirma y acepta acción
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Balance de obligacionesBalance de obligaciones� Especificación de intención principal (usuario)
– Crea una obligación (cargo)
� Interpretación de la intención (sistema)
– Transacciones de interpretación (pueden ser varias)
– Compromiso (cargo)
� Acción principal (sistema):
– Acción multimodal (crédito, crédito)
– Solicitud de confirmación (cargo)
� Interpretación de la acción (usuario)
– Multimodal interpretation (visual)
– Action confirmation (cargo)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Balance de obligacionesBalance de obligaciones� Especificación de intención principal (usuario)
– Crea una obligación (cargo)
� Interpretación de la intención (sistema)
– Transacciones de interpretación (pueden ser varias)
– Compromiso (cargo)
� Acción principal (sistema):
– Acción multimodal (crédito, crédito)
– Solicitud de confirmación (cargo)
� Interpretación de la acción (usuario)
– Multimodal interpretation (visual)
– Action confirmation (cargo)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Balance de acuerdoBalance de acuerdo� Especificación de acción principal (sujeto)
– Crea una obligación (cargo)
� Intention interpretation (sistema)
– Interpretation transactions (pueden ser muchas)
– Se debe aceptar (crédito)
� Main information or action act (sistema):
– Multimodal action (cargo)
– Request action confirmation (cargo)
� Action interpretation (sujeto):
– Multimodal interpretation (visual)
– Action acceptance (crédito)
7
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Balance de obligacionesBalance de obligaciones� Especificación de intención principal (usuario)
– Crea una obligación (cargo)
� Interpretación de la intención (sistema)
– Transacciones de interpretación (pueden ser varias)
– Se debe aceptar (crédito)
� Acción principal (sistema):
– Acción multimodal (cargo)
– Solicitud de confirmación (cargo)
� Interpretación de la acción (usuario)
– Multimodal interpretation (visual)
– Action confirmation (crédito)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
La estructura básicaLa estructura básica� Intención principa (usaurio)
– utt25 : después <sil> me puedes poner <sil> [e]l el extractor de aire encima de la <sil> de la estufa
� Interpretación de la intención (sistema)
– utt26 : s: okey
� Satisfacción de la intención (sistema):
– utt27 : s: realiza acción
así está bien ?
� Interpretación de la acción (usuario):
– Multimodal interpretation (visual)
– utt28 : u: sí
– utt29 : así está bien
El Proyecto DIME, DCC-IIMAS, UNAM 2006
La estructura básicaLa estructura básica� Intención principal (usuario)
– utt25 : después <sil> me puedes poner <sil> [e]l el (cargo)extractor de aire encima de la <sil> de la estufa
� Interpretación de la intención (sistema)
– utt26 : s: okey (cargo)
� Satisfacción de la intención (sistema):
– utt27 : s: realiza acción (crédito, crédito)
así está bien ? (cargo)
� Interpretación de la acción (usuario):
– Multimodal interpretation (visual)
– utt28 : u: sí
– utt29 : así está bien (crédito)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
DIMEDIME--DAMLS DAMLS tagstags� Intención principal (usuario)
– utt25 : después <sil> me puedes poner <sil> [e]l el
extractor de aire encima de la <sil> de la estufa (dir-accion)
� Interpretación de intención (sistema)
– utt26 : s: okey (compromiso)
� Satisfacción de la intención (sistema):
– utt27 : <ruido> <no-vocal> (mueve-obj)
así está bien ? (sol-inf)
� Interpretación de la acción (usuario):
– Multimodal interpretation (visual)
– utt28 : u: sí
– utt29 : así está bien (resp)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Estructura de acuerdoEstructura de acuerdo� Intención principal (usuario)
– utt25 : después <sil> me puedes poner <sil> [e]l el
extractor de aire encima de la <sil> de la estufa (cargo)
� Interpretación de la intención (sistema)
– utt26 : s: okey (crédito)
� Satisfacción de la intención (sistema):
– utt27 : <ruido> <no-vocal> (cargo)
así está bien ? (cargo)
� Action interpretation (subject):
– Multimodal interpretation (visual)
– utt28 : u: sí
– utt29 : así está bien (crédito (2))El Proyecto DIME, DCC-IIMAS, UNAM 2006
DIMEDIME--DAMSL DAMSL tagstags� Intención principal (sujeto)
– utt25 : después <sil> me puedes poner <sil> [e]l el
extractor de aire encima de la <sil> de la estufa
� Intention interpretation (sistema)
– utt26 : s: okey (acepta 25)
� Satisfacción de la intención (sistema):
– utt27 : <ruido> <no-vocal> (afirm)
así está bien ?
� Action interpretation (subject):
– Interpretación multimodal (visual)
– utt28 : u: sí
– utt29 : así está bien (acepta 27, afirm)
8
El Proyecto DIME, DCC-IIMAS, UNAM 2006
DIMEDIME--DAMSL DAMSL tagstags (obligaciones)(obligaciones)
resp 56ahí está bien58
siu57
mueve-obj
sol-inf<s performs action> ahí está bien ? 56
compromisookeys55
resp 53arriba del frigobaru54
sol-infdónde quieres que la ponga ?53
okeys52
resp 49ésta51
siu50
sol-inf<no-vocal> en la pared de la izquierda ? s49
dir-accionme puedes mover la <sil> la alacena que está <sil> en la
pared de la izquierda hacia arriba del refrigerador ?u48
El Proyecto DIME, DCC-IIMAS, UNAM 2006
DIMEDIME--DAMLS DAMLS tagstags (acuerdo)(acuerdo)
afirm/acepta 56ahí está bien58
siu57
afirm<ruido> (s performs action) ahí está bien ? 56
acepta 48okeys55
afirmarriba del frigobaru54
espera 48dónde quieres que la ponga ?53
ackokeys52
afirmésta51
siu50
espera 48<no-vocal> en la pared de la izquierda ? s49
me puedes mover la <sil> la alacena que está <sil> en la
pared de la izquierda hacia arriba del refrigerador ?u48
El Proyecto DIME, DCC-IIMAS, UNAM 2006
DIMEDIME--DAMSLDAMSL
�DIME-DAMLS
– Conversación: secuencia de transacciones
– Estructura de la transacción
�Especificación de la intención
�Satisfacción de la intención
– Balance en los planos de obligaciones y
acuerdo
– Muy metida: Varinia Estrada
El Proyecto DIME, DCC-IIMAS, UNAM 2006
ContenidoContenido
�Modelos de diálogos
�El estado del arte...
�El Corpus DIME
�El esquema DIME-DAMLS
�Predicción de actos del habla
�Sistema de reconocimiento de voz
�Participantes
El Proyecto DIME, DCC-IIMAS, UNAM 2006
DIMEDIME--DAMSL DAMSL tagstags (obligaciones)(obligaciones)
resp 56ahí está bien58
siu57
mueve-obj
sol-inf<s performs action> ahí está bien ? 56
compromisookeys55
resp 53arriba del frigobaru54
sol-infdónde quieres que la ponga ?53
okeys52
resp 49ésta51
siu50
sol-inf<no-vocal> en la pared de la izquierda ? s49
dir-accionme puedes mover la <sil> la alacena que está <sil> en la
pared de la izquierda hacia arriba del refrigerador ?u48
El Proyecto DIME, DCC-IIMAS, UNAM 2006
DIMEDIME--DAMLS DAMLS tagstags (acuerdo)(acuerdo)
afirm/acepta 56ahí está bien58
siu57
afirm<ruido> (s performs action) ahí está bien ? 56
acepta 48okeys55
afirmarriba del frigobaru54
espera 48dónde quieres que la ponga ?53
ackokeys52
afirmésta51
siu50
espera 48<no-vocal> en la pared de la izquierda ? s49
me puedes mover la <sil> la alacena que está <sil> en la
pared de la izquierda hacia arriba del refrigerador ?u48
9
El Proyecto DIME, DCC-IIMAS, UNAM 2006
¿Cómo identificamos el acto del habla?
si
SpAct(H,C):RhtAct(H,C)
f(H,C)
Input SpAct
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Predicción de actos del hablaPredicción de actos del habla
� Construcción de árboles de decisión
� Predictores:
– Tonos (INTSINT)
– Duraciones (diferentes unidades)
– Fronteras entre unidades (Break Indices)
� Objetivo (Target):
– Etiquetas DIME-DAMSL
� Herramientas: CART-Style (J4)
� Tesis doctoral: Sergio Coria
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Modelos de diálogosModelos de diálogos
� Especificación de situaciones:
– Tipos de actos del habla
– Información léxica (parseo superficial)
– La semántica está dada por los roles y funciones
(atributos y valores) de la situación en la que se
realiza la interpretación
si
SpAct(H,C):RhtAct(H,C)
f(H,C)
Input SpAct
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Sistemas conversacionales Sistemas conversacionales
predicativospredicativos
�Definición modelos básicos
�Aprendizaje
� Interpretación
El Proyecto DIME, DCC-IIMAS, UNAM 2006
ContenidoContenido
�Modelos de diálogos
�El estado del arte...
�El Corpus DIME
�El esquema DIME-DAMLS
�Predicción de actos del habla
�Reconocimiento de voz
�Participantes
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Reconocimiento de vozReconocimiento de voz
�Es indispensable contar con tecnología de
reconocimiento de voz:
– Abierta
– Adaptable
�Uso de herramientas tecnológicas de punta
�Creación de recursos lingüísticos para cada
lengua
10
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Reconocimiento de voz en el Reconocimiento de voz en el
proyecto DIMEproyecto DIME
�El Corpus DIMEx100
– Creación de modelos acústicos
– Creación de diccionarios de pronunciación
– Creación de modelos de lenguaje
�El sistema Sphinx
– Entrenamiento
– Decodificación
– Validación
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Corpus DIMEx100Corpus DIMEx100
�Estructura:
– 100 hablantes
– 5,010 frases diferentes
–50 específicas por hablantes
–10 comunes a los 100 hablantes
– 6,000 *.wav archivos
�Coordinación y control de calidad:
– Hayde Castellanos
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Niveles de Niveles de TranscripciónTranscripción
� T22: Fonémas básicos del español (México)
� T44:
– T22
– Cierres de oclusivas y africadas sordas
– Aproximantes
– Acentos y paravocales
– Codas silábicas neutralizantes
� T56: T44 + otros alófonos comunes
� Basados en la definición de Mexbet de Javier Cuétara
El Proyecto DIME, DCC-IIMAS, UNAM 2006
T54T54
El Proyecto DIME, DCC-IIMAS, UNAM 2006
T44
El Proyecto DIME, DCC-IIMAS, UNAM 2006
T22
11
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Reconocedor para el El Reconocedor para el
español de México español de México
deldel
Proyecto DIMEProyecto DIME
El Proyecto DIME, DCC-IIMAS, UNAM 2006
ContenidoContenido
�Modelos de diálogos
�El estado del arte...
�El Corpus DIME
�El esquema DIME-DAMLS
�Predicción de actos del habla
�Reconocimiento de voz
�Participantes
El Proyecto DIME, DCC-IIMAS, UNAM 2006
ParticipantesParticipantes� Coordinador: Luis Pineda
� Participantes:
– Hayde Castellanos, Sergio Coria, VariniaEstrada, Fernanda López, Ivonne López, Isabel López, Iván Moreno, Patricia Pérez Pavón
� Colaboradores UNAM:
– Javier Cuétara, Carlos Rodríguez
� Colaboradores externos:
– James Allen, Joaquím Llisterri, Montserrat Riera, Ivan Meza, Lucian Galescu, Luis Villaseñor
� Financiamiento: NSF/CONACyT 39380-UEl Proyecto DIME, DCC-IIMAS, UNAM 2006
Muchas gracias!Muchas gracias!
Recommended