La síntesis del Habla - Grupo de Fonética, Departamento ...liceu.uab.cat/~joaquim/speech_technology/Sevilla... · • Creación de un diccionario de unidades de síntesis • Parametrización

Joaqu im LlisterriGrup de Fonètica, Seminari d e F ilologi a i In formàtica

Departam en t de Filologia Espanyola, Uni versitat Autònoma de Barcelon a

I Jornada s de Tecnologías d el HablaI Jornada s de Tecnologías d el HablaUniv ersidad d e Sevilla - Univers idad de GranadaUniv ersidad d e Sevilla - Univers idad de Granada

SevillaSevilla7 de noviembre de 20007 de noviembre de 2000

La síntesis del hablaLa síntesis del hablaJoaquim LlisterriJoaquim Llisterri

Departament de Filologia EspanyolaDepartament de Filologia EspanyolaUniversitat Autònoma de BarcelonaUniversitat Autònoma de [email protected]@uab.es

http://liceu.uab.es/~joaquim/home.htmlhttp://liceu.uab.es/~joaquim/home.html



La síntesis del habla

u Las tec nologías de l habla

u Las téc nicas d e síntesis

u La c onversión d e texto en habla

u Líneas de investigación actuales



Las tecnologías del habla

u Ámbito de las te cnologías d el habla

u Sínte sis del h abla

u Reconocimiento de l habla

u Sistem as de d iálogo



Tecnologías del habla

“The domain of speec h technology is thedevelopment of autom atic systems to allowhuman users and computers to interact direc tlythrough the medium of speech ”

New Horizons in European Speech technology,Report of the ESPRIT Workshop on SpeechTechnology, Aarhus, Denmark, May 1987.




Generación de una señal vocalGeneración de una señal vocal

• Sínte sis con vocabulario restringido

• Sínte sis a partir de un texto (CTHconversión de texto en habla - TTS Text toSpeec h Synthesis)

• Sínte sis a partir de represen tac ionesconce ptuales



Del texto ... … al habla


GTP-UPCGTP-UPC

mailto:[email protected]


http://li

http://li




“Carlos”“Carlos”AppleApple



El reconocimiento del habla

Represen tac ión simbólica d e una señal vocalRepresen tac ión simbólica d e una señal vocal

• Tipo d e enunciados

• Número de locutores

• Tamaño de l vocabulario



El reconocimiento del habla

Del habla … … al texto



Los sistemas de diálogo

Int eracción ‘natural’ entre la persona y lamáquina

• Diálogo p or menú

• Sistem as de d iálogo (spoken languagesystems)

TOOT, AT&TTOOT, AT&T



Las técnicas de síntesis del habla

4Codif icación y almacenamiento de la señalsonora

4Concatenación de unidades almacen adasmediante sínte sis paramétrica

4Sínte sis articulator ia



Características d e los sistemas de codificación yalmacen amient o de la señal sonora

•• Grabación y reproducc iónGrabación y reproducc ión de los mensajes:versión digital de las técnicas analógicas degrabación

• Técnicas de proce samiento digital de señalesorientadas hacia la compresióncompresión

• Minimizar las necesidades de memoria

• Minimizar la d iferencia entre el enunciadooriginal y la versión digitalizada



Características d e los sistemas de codificación yalmacen amient o de la señal sonora

• Unidades : frases, palabras o partes depalabras

• No requieren información sobre laestructura del tracto vocal ni sobre laestructura lingüística



Concatenación de unidades almacen adasmediante sínte sis paramétrica

• Creación de un diccionario d e unidades dediccionario d e unidades desíntesissíntesis

•• Parametrizac iónParametrizac ión de las unidades

•• Modelo del tracto vocalModelo del tracto vocal para la síntesis a partirde los p arámetros u tilizados

• Sínte sis por L PC (Linear Predictive Coding)

• Sínte sis por f ormantes



Unidades de síntesis

Difonema• Segmento acústico que incluye la transición

entre dos f onemas consecutivos, formado porla parte estac ionaria del primero, latransición del p rimero al segun do y la parteestacionaria d el segundo

/kasa/ - /k/ + /ka/ + /as/ + /sa/ + /a/



Unidades de síntesis

Semisílaba• Fragmento de sílaba comprendido ent re su

inicio y el cent ro de la vocal o entre el centrode la vocal y su f inal

/kasa/ - /ka/ + /asa/



Model de l tracto vocal en la pr oducción de l habla

Filtr o

Fuente



Modelo del tracto vocal en la sínt esis de l habla

Fuente periódi caFuente periódi caFuente periódi ca

Fuente aperiód icaFuente aperiód icaFuente aperiód ica

FiltroFiltroFiltro

Sonidos sonoros

Sonidos sordos

Punto y modo dearticulación



La síntesis paramétrica

Parámetrospropios de lafonética acústicapara almacenary sintetizar lasunidades



La síntesis articulatoria

• El control del sintetizador se lleva a cabomediante parámetros articulatoriosparámetros articulatoriosrelacionados con la configuración deltracto vocal

herramienta de investigación



CASY, Configurable Articulatory SynthesizerHaskin s Laboratories

Sínte sis de vocales

http://www.haskins.yale.edu/

haskins/MISC/Facilities/ASY.html



La conversión de texto en habla

4Esqu ema general de un conversor de texto enhabla

4Etapas en la conversión de texto en habla

4Sistem as actuales de conversión de texto enhabla



Esquema general de unconversor de texto en habla

text-to-speech, T TS• Un sistema de conversión de texto en habla

transformatransforma cualqu ier texto escrito en surealización sonora

• La e structura de un conversor suele sermodularmodular

• Cada m ódulo se ocupa de un aspec to de latransformación de la cadena d e caracte resinicial hasta llegar a la señal sonora



Esquema general de unconversor de texto en habla

Pre-procesado y normalización

Análisis lingüístico Tran scr ipc ión fonética

Asignación de prosodia Selecc ión de unidades

Conversión en parámetros acústicos



Las etapas en la conversión de texto enhabla

4Procesamient o previo del texto

4Tran scr ipc ión fonética automática

4Análisis lingüístico

4Asignación de elementos p rosódicos

4Conversión en parámetros acústicos



Procesamiento previo del texto

• Realiza las mismas operaciones que unhablante leyen do en voz alta un texto

• El obje tivo es preparar el texto para latranscripción fonética automática y para lasfases sucesivas de la conversión



Módulo normalizador Telefónica I+D

Texto: El Sr. José Luis López tiene 201 viñas.Texto: El Sr. José Luis López tiene 201 viñas.NORMALIZ ADORNORMALIZ ADOR

Frase normalizada: el Sr. josé luis lópez tiene 201Frase normalizada: el Sr. josé luis lópez tiene 201viñas.viñas.

Formato: mm abr Mm Mm Mm mm mm mm sig

Códigos: mm: palabra en minúscula, Mm: palabracon inicial mayúscula, abr: abreviatura, sig: signoortográfico



Módulo de preprocesoTelefónica I+D

Frase normalizada: el Sr. josé luis lópez tiene 201viñas.

Formato: mm abr Mm Mm Mm mm mm mm sigPREPROCESOPREPROCESO

Palabras: el se#or jo s’e luis l’opez tiene doscientasPalabras: el se#or jo s’e luis l’opez tiene doscientasuna vi#as.una vi#as.

Palab_silab: el se. #or jo. s’e lui s l’o. pez ti ’e.nePalab_silab: el se. #or jo. s’e lui s l’o. pez ti ’e.nedos. ci’en. tas ‘u. na v’i. #as.dos. ci’en. tas ‘u. na v’i. #as.



Transcripción fonética automáticaObjetivos

• Creación de una cadena de unidades fonéticas -fonemas o alófon os- a partir del texto escritopreprocesado

• “Un sistema de transcripción fonética automática es unalgoritmo que trans forma un texto de entradarepresentado en caracteres grafemáticos en u narepresentación exp resada mediante símbolos fonéticos”

Ríos (1993:381)



Módulo conversor grafema-alófonoTelefónica I+D

Palab_silab: el se. #or jo. s’e luis l’o. pezti’e. ne dos. ci’en. tas ‘u. na v’i. #as.

CONVERSOR GRAFEMA-ALÓFONOCONVERSOR GRAFEMA-ALÓFONO

Alófonos: e l se. N~or xo. s’e lu is l’o. peT [sil]Alófonos: e l se. N~or xo. s’e lu is l’o. peT [sil]tj’e.ne Dos. Tj’en. tas ‘u. na B ’i. N~as [sil]tj’e.ne Dos. Tj’en. tas ‘u. na B ’i. N~as [sil]



División silábica o silabificación

• Divide la cadena de alófonos en sílabas

• Puede realizarse como parte delpreprocesado del texto, partiendo de larepresentación ortográfica



Asignación de acento

• Determina las sílabas tónicas y las sílabasátonas de la cade na de alófonos

• Requiere inform ación sobre palabras que sonsiempre átonas y reglas de acentuación para laspalabras que no llevan acento gráfico

• Puede realizarse como parte del pr eprocesadode texto un a vez se ha llevado a cabo la d ivisiónsilábica



Análisis lingüístico

• Necesid ad del análisis lingü ístico en la conversión detexto a habla• Transcripción fonética

• Predicción de la representación fonética a partir de reglasmorfológicas / morfofonológicas que implican elreconocimiento de morfemas en lenguas con unacorrespondencia irregular entre grafías y alófonos

• Asignación de elementos prosódicos• La localización de las pausas no marcadas ortográficamente,

la asignación de acento y la determinación de las unidadesmelódicas requiere un análisis sintáctico



Análisis morfológico

• Objetivos

• Segmentac ión del texto en morfe mas

• Asignación de etique tas correspondientes alas p artes de la oración a las palabras (POStagging)



Módulo categorizadorTelefónica I+D

Palabras: el se#or jo s’e luis l’opez tiene doscientas unavi#as.

Palab_silab: el se. #or jo. s’e lui s l’o. pez ti ’e.ne dos.ci’en. tas ‘u. na v’i . #as.CATEGORIZADORCATEGORIZADOR

Categorías: ART N NP NP NP V NUM NUM N SIGCategorías: ART N NP NP NP V NUM NUM N SIG

Códigos: ART: ar tículo, N: nombre, NP: nombrepropio, V: verbo, NUM: n úmero, SIG: signo ortográfico



Análisis sintáctico

• Para una asignación d e elementos prosód icosque dé como resultado una sínt esis con un altogrado de natur alidad es necesario un análisissintáctico, semántico y pragmático del te xto

• Segmentac ión del texto en unidades sintácticas

• Asignación de una estructura de constituyentes(parsing)



Módulo de análisis sintácticoTelefónica I+D

Palabras: el se#or jos’e lu is l’opez tienedoscientas una vi#as.

Categorías: A RT N NP NP NP V NUM NUM NSIG

ESTRUCTURADORESTRUCTURADOR

Árbol sintácticoÁrbol sintáctico



Asignación de elementos prosódicos

4Asignación de durac ión segmental

4Asignación de intensidad segm ental

4Asignación de pausas

4Asignación de curva melódica



Asignación de elementos prosódicos

• Conjun to de reglas q ue especif ican la duraciónde los segmentos, la inte nsidad de lossegm entos, el c ontorno m elódico del en unciado,las modificacione s produc idas p or el acent o y lacolocación y duración de las p ausas.



Asignación de duración segmental

• Requiere un modelo de duración segmental q ueconsidere la d uración intrínseca de cadasegm ento y las modificaciones contextuales



Asignación de intensidad segmental

• Determina la intensidad de cada segmento enfunción de las variables que afe ctan a e steparám etro



Asignación de pausas

• Inserción de las p ausas m arcadasortográf icamente en el te xto

• Inserción las pausas n o marcadasortográf icamente en el te xto

• Determinación de la dur ac ión de la pausa



Módulo pausadorTelefónica I+D

Palabras: el se#or jo s’e luis l’opez tiene doscientasuna vi#as.

Categorías: ART N NP NP NP V NUM NUM N SIG

PAUSADORPAUSADORPalabras: el se#or jo s’e luis l’opez [pau_v] tienePalabras: el se#or jo s’e luis l’opez [pau_v] tienedoscientas una vi#as.doscientas una vi#as.

Palab_silab: el se. #or jo. s’e lui s l’o. pez [pau_v]Palab_silab: el se. #or jo. s’e lui s l’o. pez [pau_v]ti’e.ne dos. ci’en. tas ‘u. na v’i. #as.ti’e.ne dos. ci’en. tas ‘u. na v’i. #as.Códigos: [pau_v]: pausa insertada ante el verbo



Asignación de curva melódica

• Asignación de valor d e frecuencia fundamental

(F0) en forma de patrones m elódicos

• En algun os sistemas la asignación de la curvamelódica pued e utilizar un análisis d e laestru ctura e ntonativa d e los enun ciados(prosodic parsing )



Módulo de generación de parám etros p rosódicos Telefónica I+D

Alófonos: el se. N~or xo. s’e lui s l’o. peT [sil] tj’e.neDos. Tj’en. tas ‘u. na B’i. N~as [sil]Categorías: ART N NP NP NP V NUM NUM N SIG

Alófonos: el se. N~or xo. s’e lui s l’o. peT [sil] tj’e.neDos. Tj’en. tasPROSOPROSO

Duraciones (ms): 76 60 56 65 89 75 43 67 56 60 60Duraciones (ms): 76 60 56 65 89 75 43 67 56 60 60

Entonación (Hz):Entonación (Hz):



Conversión en parámetros acústicos

• Conjun to de reglas q ue tiene como objet ivo:

asignar valore s de parámetros acúst icos acada segmento o a cada unidad de sínt esis

espec ificar las transic iones entre segme ntos

Los valores d e los parámetros acústicoscontr olan u n sintetizador que produc e laonda sonora correspondiente al mensaje



Módulos de conversión en parámetros acústicos p ara laconvers ión d e texto a habla

Telefónica I+D

Alófonos: el se. N~or xo. s’e lui s l’o. peT [sil] tj’e.neDos. Tj’en. tas ‘u. na B’i. N~as [sil]

Duraciones (ms): 76 60 56 65 89 75 43 67 56 60 60

Entonación (Hz):PARLAPARLA Selección de unid ades de síntesis en elSelección de unid ades de síntesis en elinventarioinventario

Generación de tramas de síntesisGeneración de tramas de síntesis

SÍNTES ISSÍNTES IS Convers ión en una onda sonora media nteConvers ión en una onda sonora media nteel sintetizadorel sintetizador



Sistem as actuales de conversión d e texto en habla

4Sistem as come rciales de conversión de texto enhabla

4Sistem as de c onversión d e texto en habladesarrollados para e l español



Actor, CSELThttp://technovoice.cselt.it/demo/actor/default.htm

Es, h.



AT&T Labs Researchhttp://www.research.att.com/~mjm/cgi-bin/ttsdemo

Ingl, h

Ingl, m

Ingl, n



BaBel T echnologieshttp://www.babeltech.com/

Ing, h

Ing, m

Es, h



Bell Labs - Lucent Technologieshttp://www.bell-labs.com/project/tts/index.html

Ing , h

Ing, m

EsMx, h

EsCas, h



Elan, Lernou & Hauspiehttp://www.elan.fr/speech/demos/d_inter0.htm

Ing , h

Ing, m

Es, h



Eloquent Technologieshttp://www.eloq.com/demos.html

Ing , h

Ing, m

EsCas, h

EsMx, h

http://ww

http://ww

http://ww



Infovox, Telia Promotorhttp://www.promotor.telia.se/infovox/listen.htm

IngA m, h

IngBr, h

Es, h



Laureate, British Telecommhttp://www.bt.com/innovation/exhibition/laureate/interactive.htm

Ing, h-m

Es, h

Ing, m

Ing, h



RealSpeak, Lernout & Hauspiehttp://www.lhs.com/realspeak/demo.cfm

Ing, h

Es, h



Comparación de sistemas desarrolla dos p ara el españolhttp://morph.ldc.upenn.edu/ltts/



Comparación de sistemas desarrolladospara el español



Líneas de investigación actuales

uSíntesis de las emociones

uSíntesis multimodal

http://ww



Síntesis de emocionesJ. Cahn, MIT Multimedia Lab

http://cahn.www.media.mit.edu/people/cahn/emot-speech.html

Gladness

Sadness

Surprise

Anger

Disgust

Fear



Síntesis multimodal

• Sínte sis audiovisual; sínt esis m ultim edia

• Generación autom ática de habla y deanim ación f ac ial a partir de un texto

Mejora la inte ligibilidad del hablasintetizada

Agent es conversacionales en sistem as dediálogo Aplicacione s a discapacidade s auditivas



Department of Speech, Music and H earingKTH Stockholm

HolgerHolgerIntegrado de un sistema d einform ación turística sobreel arch ipièlago d e Estocolmo

http://www.speech.kth.se/waxholm/waxholm2.html




OlgaOlgaIntegrado de un sistema d eatenc ión a consum idores deuna empresa fabricant e demicroondas

http://www.nada.kth.se/~osu/olga/e_index.html




AugustAugustIntegrado de un sistema d edemostración de lastecnologías de l habladesarrolladas en el KT H

http://www.speech.kth.se/august/




TelefaceAyuda visual - lecturalabial - enconversacionestelefónicas parapersonas condiscapacidades auditivas

http://www.speech.kth.se/teleface/



I Jornada s de Tecnologías d el HablaI Jornada s de Tecnologías d el HablaUniv ersidad d e Sevilla - Univers idad de GranadaUniv ersidad d e Sevilla - Univers idad de Granada

SevillaSevilla7 de noviembre de 20007 de noviembre de 2000

La síntesis del hablaLa síntesis del hablaJoaquim LlisterriJoaquim Llisterri

Departament de Filologia EspanyolaDepartament de Filologia EspanyolaUniversitat Autònoma de BarcelonaUniversitat Autònoma de [email protected]@uab.es

http://liceu.uab.es/~joaquim/home.htmlhttp://liceu.uab.es/~joaquim/home.html



http://li

http://li

Documents

La síntesis del Habla - Grupo de Fonética, Departamento ...liceu.uab.cat/~joaquim/speech_technology/Sevilla... · • Creación de un diccionario de unidades de síntesis • Parametrización