Llisterri,Joaquim-Lingüística y tecnologias del lenguaje (2003)

8/7/2019 Llisterri,Joaquim-Lingstica y tecnologias del lenguaje (2003)

1/63

LLISTERRI, J. (2003) Lingstica y tecnologas del lenguaje, Lynx. Panormica de EstudiosLingsticos (Departament de Teoria dels Llenguatges, Universitat de Valncia) 2: 9-71.http://liceu.uab.es/~joaquim/publicacions/TecnoLing_Lynx02.pdf

1

Lingstica y tecnologas del lenguaje

Joaquim Llisterri

Universitat Autnoma de Barcelona

1. Lingstica y tecnologas del lenguaje

Empieza a ser ya relativamente habitual en nuestra vida cotidiana utilizarservicios como los que ofrecen los portales de voz, escuchar el correoelectrnico ledo a travs del telfono mvil, dictar textos que se escribenautomticamente en la pantalla del ordenador, consultar pginas web en otras

lenguas mediante los traductores automticos que ofrece la red o, desde hace yabastante tiempo, redactar documentos con la ayuda de los correctoresortogrficos y gramaticales integrados en los procesadores de textos. Sinembargo, seguramente pocas personas que emplean estos sistemas sonconscientes de que en su desarrollo no nicamente intervienen informticos eingenieros, sino que tambin participan muy a menudo los lingistas.

Mientras que el gran pblico ve al lingista, en el mejor de los casos, comoun erudito que pasa buena parte del tiempo aprendiendo lenguas o corrigiendolos errores que con pertinaz regularidad se empean en cometer los hablantes,la realidad es que encontramos hoy en da profesionales de la lingstica quededican sus esfuerzos a la creacin de los servicios y aplicaciones que acabamosde citar. Especialidades como la Lingstica Computacional, que se ensea enlas facultades de Filologa, han encontrado su lugar, junto a la informtica o laingeniera de telecomunicaciones, en equipos multidisciplinares que orientan sutrabajo al desarrollo de las tecnologas del lenguaje.

Las tecnologas del lenguaje (TL o LT, Language Technologies), tambinconocidas como tecnologas lingsticas o tecnologas para el lenguaje humano(TLH o HLT, Human Language Technologies), son todas aquellas que seintegran en aplicaciones informticas para permitir el tratamiento de textosescritos como en el caso de la traduccin automtica o la correccinortogrfica, o el procesamiento del habla requerido para el dictadoautomtico o la lectura en voz alta de un mensaje de correo electrnico-. Setrata, en conjunto, de tecnologas que hacen posible la creacin de herramientaspensadas para ayudarnos a utilizar los ordenadores sin renunciar por ello anuestro uso habitual del lenguaje como medio de interaccin y de intercambiode informacin (Cole et al., 1997; HLT Central; Language Technology World;Llisterri y Mart, 2002; Mart, 2001; Uszkoreit, 2002).
http://liceu.uab.es/~joaquim/publicacions/TecnoLing_Lynx02.pdfhttp://liceu.uab.es/~joaquim/publicacions/TecnoLing_Lynx02.pdf


2/63


2

En este contexto se utiliza tambin el trmino ingeniera lingstica (IL oLE, Language Engineering) para referirse a la aplicacin de las tcnicasinformticas al desarrollo de aplicaciones que incluyen componentes

relacionados con el tratamiento del lenguaje y del habla (Ingeniera lingstica;Mart y Llisterri, 2001; Pierrel, 2000). En cambio, con el uso de la expresinindustrias de la lengua se pretende reflejar el potencial econmico y comercialdel mbito que nos ocupa. Existe igualmente la denominacin lingsticainformtica, que suele hacer referencia al uso de herramientas informticas enla investigacin lingstica. Finalmente, lingstica computacional (LC o CL,Computational Linguistics) podra entenderse como la disciplina que abarcatanto el procesamiento del lenguaje como el del habla desde una perspectivageneral o desde un punto de vista terico (Gmez, 2000a, b; Grishman, 1986;

Jurafsky y Martin, 2000; Sidorov, 2001; Uszkoreit, 2000), aunque en ocasionesse encuentra esta denominacin empleada como sinnimo de procesamientodel lenguaje natural1.

En las tecnologas lingsticas suele distinguirse entre las que se centran enla lengua escrita y las que tienen por objeto el habla. Las primeras se englobanen el campo conocido como procesamiento del lenguaje natural aunquetambin podran definirse como tecnologas del texto escrito-, mientras que lassegundas se denominan tecnologas del habla. El desarrollo de estas tecnologasy sus aplicaciones requieren disponer de los llamados recursos lingsticos,

entre los que se cuentan los corpus, los diccionarios y las gramticas.El presente trabajo pretende describir la labor del lingista en los mbitos

mencionados, tanto en lo que se refiere al desarrollo de las tecnologas yrecursos bsicos como en lo que concierne la creacin de aplicaciones quedirectamente puedan integrarse en programas informticos de uso local, en lared o en entornos que requieran la interaccin entre personas y ordenadores. Enningn caso tiene intencin de presentar exhaustivamente las tecnologas dellenguaje, ni tampoco describir con detalle las diversas reas que las constituyen;por tal motivo, se ha intentado recoger una bibliografa bsica para cada tema,

de modo que el lector pueda profundizar en las cuestiones que ms le interesen.Cabe advertir tambin que se han primado los aspectos lingsticos msgenricos sobre los tecnolgicos, por lo que, en muchos casos, no se refleja lacomplejidad real de las diversas tcnicas y aplicaciones que se discuten.Finalmente, aunque existe una actividad muy notable en la creacin detecnologas y recursos para el cataln, el gallego y el vasco, tanto los ejemplos

1Una discusin ms detallada de la terminologa y de las relaciones entre estas disciplinaspuede encontrarse en Moure y Llisterri (1996).


3/63


3

como las referencias bibliogrficas se centran, esencialmente por razones deespacio, en los trabajos sobre el espaol llevados a cabo en Espaa2.

Para facilitar la exposicin, se mantiene la divisin tradicional entretecnologas del habla (apartado 2), tecnologas del texto (apartado 3) y recursoslingsticos (apartado 4). Sin embargo, las tecnologas dependen, para sufuncionamiento eficaz, de la existencia de recursos, por lo que no puedensepararse las unas de los otros. Debe tenerse tambin en cuenta que las fronterasentre el trabajo que se lleva a cabo en el campo de las tecnologas del habla y enel de las del texto se difuminan cada vez ms, especialmente si se consideranaplicaciones como la traduccin automtica del habla (3.2.3) o la recuperacinde informacin en archivos sonoros (3.2.4), as como la progresivaincorporacin de las herramientas propias del procesamiento del texto escrito a

la sntesis, al reconocimiento y al dilogo.2. Tecnologas del habla

Como se ha sealado, las tecnologas del habla (Speech Technologies)tienen por objeto el tratamiento informtico de la lengua oral y permiten que unordenador ofrezca informacin hablada sntesis del habla-, reconozca losenunciados emitidos por un locutor reconocimiento automtico del habla ocombine ambas tecnologas para entablar una interaccin con el fin de recabarinformacin o realizar transacciones sistemas de dilogo en una o varias

lenguas (Cortzar et al., 2002; Huang et al., 2001; Lleida, 2000; Llisterri,2001a, c; OShaughnessy, 1987; Rodrguez et al., 2001).

El desarrollo de las tecnologas del habla ha estado tradicionalmente ligadoal mundo de la ingeniera de telecomunicaciones y, posteriormente, al de lainformtica. Esto se explica por su origen histrico en el campo de la telefonay, posteriormente, por su estrecha relacin con el tratamiento digital de seales.Sin embargo, lleg un momento en que algunos centros de investigacin

2

En lo que se refiere al cataln, remitimos al lector a las pginas del TALP-Tecnologies iAplicacions del Llenguatge i de la Parla de la Universidad Politcnica de Catalua, delCliCCentre de Llenguatge i Computaci de la Universitat de la Universitat de Barcelona, delIULAInstitut Universitari de Lingstica Aplicada de la Universitat Pompeu Fabra, de laSecci de Teoria del Senyal de la Universitat Ramon Llull y a las del IEC-Institut dEstudisCatalans. Para el gallego, pueden consultarse las del Grupo de Tratamiento de la Seal de laUniversidade de Vigo, del SLI-Seminario de Lingstica Informtica de la mismauniversidad, del grupo COLECompiladores y Lenguajes de la Universidade de La Corua,del ILGAInstituto da Lingua Galega y del Centro Ramn Pieiro. Los trabajos sobre elvasco pueden verse en las pginas de los grupos IXA, AhoLab y del Grupo deReconocimiento de Formas y Tecnologa del Habla de la Universidad del Pas Vasco, y en las

del grupo DELI- Grupo de Lingistas, Informticos e Ingenieros de Deusto de la Universidadde Deusto.


4/63


4

comprendieron que el tratamiento automtico del habla puede beneficiarse delos conocimientos propios de diversas ramas de la lingstica y, por tal motivo,iniciaron una colaboracin regular con equipos de lingistas o los incorporaron

a sus propias plantillas.En este apartado presentaremos aquellos mbitos de las tecnologas del

habla que mantienen una mayor vinculacin con la lingstica: la sntesis delhabla (2.1) centrndonos especialmente en la conversin de texto en habla(2.1.2.)-, el reconocimiento del habla (2.2) y los sistemas de dilogo (2.3.).Como se expone ms adelante, la fontica, tanto en su vertiente descriptivacomo experimental, es quizs la disciplina lingstica que ms directamenteentronca con las tecnologas del habla (Greenberg, 2001; Llisterri, 2002;Llisterri et al., 1999), aunque en ciertas ocasiones sea necesario recurrir a

conocimientos fonolgicos, morfolgicos, sintcticos, semnticos e inclusopragmticos.

2.1. Sntesis del habla

El objetivo de la sntesis del habla es la generacin automtica de mensajesorales, partiendo de un texto escrito, en la denominada conversin de texto enhabla, o de otros tipos de representacin simblica (Cole, 1997a). Por ello, lasntesis puede considerarse en cierto modo un modelo de la produccin humanadel habla, con independencia de que para las diferentes aplicaciones que en la

actualidad se encuentran en el mercado se utilicen estrategias muy distintas a lasque activan los hablantes a la hora de convertir un pensamiento en unenunciado. En este apartado nos centraremos en el proceso de conversin de untexto en su equivalente sonoro (2.1.1) y en la evaluacin de los resultados de laconversin (2.1.2).

2.1.1. Conversin de texto en habla

Un sistema de conversin de texto en habla (CTH o TTS, Text-to-SpeechSynthesis) transforma automticamente cualquier texto escrito y disponible enformato electrnico en su correspondiente realizacin sonora (Dutoit, 1997,

1999; Llisterri, 2001b; Olive, 1998). La estructura de un conversor eshabitualmente modular (Figura 1), de manera que cada mdulo se ocupa de unaspecto de conversin de la cadena inicial de caracteres es decir, el texto- hastallegar a la seal sonora, equivalente a su lectura en voz alta3.

3Pueden encontrarse demostraciones de sistemas de conversin de texto en habla en espaolrealizados en universidades espaolas en las pginas del Grupo de Tecnologa del Habla de laUniversidad Politcnica de Madrid, del ECA-SIM-Grupo de Computacin Avanzada yEntornos de Comunicacin Multimodal de la Universidad de Valladolid, del Grupo deTecnologas de las Comunicaciones de la Universidad de Zaragoza, del TALP y del Grupo deTratamiento de la Seal de la Universidad de Vigo.


5/63


5

Figura 1: Principales mdulos de un conversor de texto en habla

El primer mdulo de un conversor tiene esencialmente como misintransformar en texto deletreado abreviaturas, siglas, acrnimos, nmeros,

ordinales, fechas, horas, medidas, nmeros romanos o smbolos especiales


6/63


6

como los de las monedas, porcentajes, los relativos a la propiedad intelectual olos que se utilizan en direcciones de Internet.

En general, se elaboran tablas que asocian a cada uno de estos elementoscon su representacin ortogrfica completa, de modo que RAE se expandiracomo rae, ONG como o ene ge y CSIC como ce sic. En algunos casos espreciso un tratamiento un poco ms complejo: por ejemplo, 200 debedeletrearse como doscientos o doscientas en funcin del gnero del nombreque aparece a continuacin y, de un modo anlogo, el smbolo del euro seexpande en singular o en plural segn la cantidad que anteceda.

Una vez el texto de entrada se ha convertido ya en una cadena decaracteres, es preciso transformar la forma ortogrfica en una representacin

ms cercana a la forma sonora, tarea que aborda el mdulo de transcripcinfontica automtica (Enrquez, 1991; Pachs et al., 2000; Ros, 1999).

En conjunto, suelen utilizarse dos tipos de estrategias para la transcripcin:un diccionario ayudado por un analizador en lenguas con una correspondenciamuy irregular entre grafa y sonido por ejemplo, el ingls-, o bien un conjuntode reglas complementadas por un diccionario de excepciones en lenguas conuna correspondencia regular entre sonido y grafa, como suele ser el caso enespaol.

Las reglas de transcripcin constituyen una sistematizacin de la

correspondencia que se establece en la lengua entre grafemas y alfonos,formalizando una informacin que se encuentra en los manuales depronunciacin y en los trabajos sobre ortologa. Es importante destacar que enesta fase de la conversin de texto en habla se toman decisiones que se sitaninequvocamente en el mbito de la lingstica. Por una parte, se define elinventario de alfonos utilizados en el conversor, lo que implica considerar lasdescripciones fonticas y fonolgicas de la lengua para evaluar la pertinencia deincorporar un mayor o menor grado de variacin alofnica. Por otra, laaplicacin de las reglas de transcripcin determina el nivel de adecuacin

fontica del conversor a las normas habituales de pronunciacin y fija tambincmo se reflejan las variantes geogrficas o las de estilo.

Es necesario tambin encontrar soluciones para la pronunciacin de losnombres extranjeros, adoptando una versin ms o menos cercana a la nativasegn las tradiciones de cada lengua, con el problema aadido de que lossonidos que no formen parte de la lengua debern incorporarse al inventario dealfonos para la sntesis; as, un sistema de sntesis del cataln deber incluir lafricativa velar y la fricativa interdental sordas, inexistentes en esta lengua, parapronunciar nombres castellanos como Juan Lpez, que pueden aparecer

fcilmente en un texto.


7/63


7

Una vez el texto est transcrito fonticamente, es preciso realizar unanlisis lingstico que complementa la tarea de otros mdulos del conversor.Para tal fin se utilizan herramientas desarrolladas en el campo del

procesamiento del lenguaje natural (vase el apartado 3.1.2.), como losanalizadores morfolgicos y los analizadores sintcticos (Monzn et al., 1993).La informacin sobre las partes de la oracin es relevante para evitar, porejemplo, la aparicin de una pausa entre un adjetivo y un nombre o lacolocacin de acento en un artculo; por su parte, el anlisis en constituyentessintcticos es casi imprescindible en la determinacin de las unidades meldicaspara dotar al texto ledo de una prosodia adecuada. Aspectos ms complejoscomo la deteccin del foco de una oracin podran tambin tratarse como partedel anlisis lingstico, dada su incidencia en la entonacin.

Una de las reas a la que ms esfuerzos se dedican en la actualidad en elmbito de la conversin de texto en habla es, sin lugar a dudas, la prosodia, puesde ella depende en gran medida la naturalidad de la lectura (Monaghan, 2002;van Santen, 1997). El mdulo prosdico de un conversor consta de un conjuntode reglas que especifican la duracin y en algunos casos la intensidad- de lossegmentos, el contorno meldico del enunciado, las modificaciones acsticasproducidas por el acento y la colocacin y la duracin de las pausas.

La definicin de reglas que sistematicen la informacin prosdica suelellevarse a cabo partiendo del anlisis de un corpus de habla natural (vase elapartado 4.1.1), en cuyo diseo no puede dejar de intervenir un expertofamiliarizado con la descripcin suprasegmental de la lengua sobre la que setrabaja. En la actualidad, es tcnicamente posible adquirir los datos necesariosde un modo relativamente automtico partiendo de un corpus suficientementegrande y convenientemente etiquetado, pero aun as, parece lgico pensar que elpropio proceso de etiquetado debe responder a criterios lingsticos si se deseair ms all de un modelo que cumpla la nica funcin de proporcionar datosestadsticos ciegos a un sistema concreto.

En lo que se refiere a la duracin, el anlisis acstico del habla natural hapuesto de manifiesto la existencia de diversos factores que condicionan losvalores temporales de cada uno de los segmentos en un enunciado; entre losms relevantes cabe citar el acento, la longitud de la palabra en la que seencuentra el segmento, la consonante o la vocal que le sigue, la existencia depausa despus del segmento, la posicin del mismo en el enunciado y,naturalmente, la velocidad de elocucin del hablante.

Por este motivo, un conversor de texto en habla que se proponga alcanzarun elevado grado de naturalidad incorpora un modelo de duracin segmental

que considera la duracin intrnseca de cada segmento del habla y definemediante reglas las modificaciones contextuales a las que est sometido por la


8/63


8

influencia de los factores citados anteriormente (Macarrn et al., 1991; Santoset al., 1988). Las reglas de duracin as entendidas implican, al igual que en loscasos anteriores, una formalizacin y una sistematizacin del conocimiento

adquirido a partir del anlisis del habla natural mediante los mtodos y losinstrumentos que proporciona la fontica.

La intensidad de cada segmento vara tambin en la produccin del habla.Este aspecto no suele tenerse en cuenta en muchos de los sistemas deconversin de texto en habla, pero podran considerarse estrategias anlogas alas usadas para la asignacin de duracin segmental, basadas igualmente de losdatos derivados del estudio de corpus.

Para una lectura inteligible, un sistema de conversin de texto en habla

debe insertar las pausas marcadas mediante signos de puntuacin en los textos,asignndoles una duracin diferente en funcin de cada tipo de signodistinguiendo, por ejemplo, una coma de un punto y aparte-, pero precisa teneren cuenta tambin, para una lectura natural, la insercin de pausas no marcadasortogrficamente. Si pensamos, adems, en aplicaciones como la consulta delcorreo electrnico a travs del telfono, es fcil darse cuenta de que no siemprese contar con textos adecuadamente puntuados, con lo que el anlisismorfolgico y sintctico adquiere una importancia primordial a la hora dedeterminar el lugar en el que debe intercalarse una pausa para una buenacomprensin del texto.

Por ltimo, el mdulo prosdico de un conversor se ocupa de determinar elpatrn meldico la entonacin- que corresponde a cada fragmento del texto deentrada (Escudero y Cardeoso, 2001; Fernndez y Rodrguez, 2000; Garrido etal., 2000; Llisterri et al., 2003; Lpez y Hernndez, 1995). En el habla natural,es sabido que la meloda, entre otras funciones, seala la modalidad oracional,estructura el enunciado en unidades entonativas estrechamente relacionadas conel significado y aporta informacin sobre aspectos pragmticos. La melodaconstituye tambin un indicador del estado emocional del hablante, de su estatussociocultural y de su procedencia geogrfica. Debido a estos y a otros factores,modelar acertadamente los movimientos meldicos es esencial para conseguiruna conversin de texto en habla de calidad.

Tal como seala Beaugendre (1996), en sntesis se utilizan tres estrategiasdiferentes para la generacin de movimientos meldicos: sistemas de reglas quedefinen la forma de la curva meldica a partir de un conjunto de smbolos,patrones meldicos previamente almacenados y, finalmente, curvas meldicasobtenidas automticamente a partir de un corpus mediante tcnicas estadsticas,como son los Modelos Ocultos de Markov o las redes neuronales. Obviamente,

el procedimiento que incorpora un mayor grado de conocimiento fontico es elprimero de los citados, ya que relaciona la realizacin acstica de la curva


9/63


9

meldica con su representacin a un nivel abstracto que podra considerarsefonolgico. Para ello se requiere contar con un sistema de transcripcin oanotacin de la entonacin que, en muchos casos, presupone una teora

prosdica orientada por principios lingsticos (Quazza y Garrido, 1998).En algunos conversores la asignacin de la curva meldica se basa en un

anlisis de la estructura entonativa de los enunciados (prosodic parsing), para loque es necesario contar con un modelo prosdico de base lingstica que definalos diversos tipos de unidades entonativas, distinguiendo entre las de tipo localel grupo acentual, por ejemplo y las ms globales los grupos meldicos(Garrido, 2001).

En las ltimas etapas de la conversin de texto en habla, una vez se

dispone de la transcripcin fontica y de la correspondiente informacinprosdica asociada, se realiza la seleccin de las unidades acsticas o unidadesde sntesis que darn forma sonora al mensaje. Estas unidades se encuentran enlos denominados diccionarios de unidades de sntesis, en cuya confeccinintervienen tambin los expertos en fontica.

El diseo de un diccionario de unidades de sntesis se inicia con ladefinicin del inventario completo de unidades alfonos y fonemas de lalengua sobre la que se trabaja, tarea de la que tambin dependen, como hemosvisto, las reglas de transcripcin automtica. Esto implica, por ejemplo, en el

caso del espaol, decidir si se incluyen los alfonos abiertos de /e/ y /o/, losalfonos nasalizados de las vocales, los alfonos velar y palatal de /a/, o si en eldiccionario se almacenan por separado muestras de vocales acentuadas y devocales no acentuadas. En el consonantismo, por ejemplo, es preciso considerarsi se incluyen los alfonos interdentales y dentales de /n/ y /l/, la aproximantealveolar o sonidos como la fricativa palatal sonora que no son propios delespaol pero que se pueden encontrar en la pronunciacin de nombresextranjeros. Las decisiones se toman considerando factores fonticos como lasdiferencias acsticas entre alfonos, la aparicin regular del alfonocondicionada por el contexto, o su variacin libre en la lengua; intervienentambin consideraciones ms generales como la economa del inventario y elmodelo de pronunciacin deseado.

En segundo lugar, es preciso definir el tipo de unidad que va a utilizarse.En la conversin de texto en habla son habituales los difonemas (denominados,tambin, con ms propiedad, dialfonos), que consisten en una combinacinentre la mitad del primer sonido que lo forma y la mitad del segundo. Con ellose persigue que, a la hora de concatenar las unidades para sintetizar undeterminado mensaje, la unin entre una unidad y otra se produzca por las

partes en las que existe una menor variacin acstica es decir, en el centro deun sonido y no por aquellas en las que se encuentra la transicin de un sonido a


10/63


10

otro. Para sintetizar la palabra mesa mediante difonemas se recurrira a juntar[me] con [es] y [es] con [sa], de modo que la unin de realizara entre una mitady otra mitad de [e] y entre una mitad y otra mitad de [s], zonas en las que el

tracto vocal se mantiene en una posicin relativamente estable en comparacincon el momento de cambio de [m] a [e] o de [s] a [a].

La seleccin del locutor a partir de cuya voz se constituir el diccionario deunidades de sntesis es tambin una labor que requiere conocimientos fonticos,ya que es conveniente valorar, en funcin del mbito de uso de la aplicacin, losrasgos de pronunciacin del locutor que pueden incidir en el resultado de lasntesis. Suele prestarse atencin a la presencia de caractersticas dialectales osociolectales marcadas, de idiosincrasias en la produccin de un determinadosonido o patrn entonativo, a la existencia de interferencias con otras lenguas

esto es especialmente relevante en el caso de hablantes bilinges y a lacapacidad de adaptacin a la tarea que, como se ver ms adelante, requiere enciertos casos un elevado grado de control de la articulacin y de los elementosprosdicos.

Una cuarta etapa en la que la presencia del lingista es relevante es elmomento de la grabacin de las unidades de sntesis. Estas unidades seacostumbran a insertar en palabras o en frases para su grabacin. Es por elloesencial que un experto en fontica supervise la adecuada pronunciacin decada elemento segmental, adems del ritmo, las pausas y la entonacin de lalectura. De lo contrario, es probable que se cometan errores que obliguen arepetir la grabacin una vez finalizado el proceso, que algunos difonemas seaninservibles o que una realizacin prosdica inadecuada tenga consecuenciasnegativas en la calidad final de la sntesis.

Una vez realizada la grabacin del corpus de sntesis, las unidades sesegmentan, se etiquetan como se muestra en la figura 10 (apartado 4.1.1), y sealmacenan en el diccionario, trabajo que implica un buen conocimiento de lafontica acstica para establecer las fronteras entre los segmentos. Aunque esteproceso puede automatizarse, en muchas ocasiones es necesaria una revisinmanual a cargo de un experto, ya que una mala segmentacin de las unidadesrepercute en el resultado de la conversin, creando la impresin dediscontinuidades excesivamente bruscas en el mensaje.

Por razones de economa, las unidades de sntesis se guardan de formaparametrizada, acudiendo para ello a los modelos acsticos de produccin delhabla que proporciona la fontica. As, cuando el conversor utiliza unsintetizador por formantes, se almacena para cada unidad la informacincorrespondiente a los valores frecuenciales, temporales y de intensidad de los

formantes de los sonidos que la componen, tomando como base el modelo de lafuente y el filtro. Precisamente la funcin del sintetizador es, una vez


11/63


11

seleccionadas las unidades que configurarn un mensaje, convertir los valoresde los parmetros acsticos en su correspondiente manifestacin sonora. En estafase debe tambin considerarse el modo en que se establecen las transiciones

entre unidades, modelando de la manera ms fiel posible la coarticulacin esdecir, la influencia mutua entre sonidos adyacentes que se produce en el hablanatural y que se ha estudiado con detalle tanto desde la perspectiva de lafontica acstica como de la articulatoria.

Aunque necesariamente hemos simplificado algunos aspectos, es patenteque la conversin de texto en habla constituye una tecnologa en la que lainformacin lingstica, y muy especialmente la fontica, tiene un papeldeterminante y una clara incidencia en la calidad de los resultados. Por talmotivo es habitual que los equipos ms avanzados que trabajan en este mbito

incorporen especialistas en fontica, que intervienen para dotar de contenidolingstico a los mdulos que lo requieren.

2.1.2. Evaluacin de la sntesis

El creciente uso de la conversin de texto en habla en diversos servicios yaplicaciones conlleva la necesidad de contar con evaluaciones que faciliten latarea de seleccionar el sistema ms adecuado para una determinada funcin yque permitan comparar la calidad de diversas versiones de un mismo conversoro de conversores diferentes.

Las denominadas evaluaciones subjetivas diferentes de aquellas querealiza el propio desarrollador estudiando la salida de cada uno de los mdulosdel conversor y determinando los errores que se producen se basan en larespuesta de un grupo significativo de personas a diversas pruebas mediante lasque se pretende cuantificar la inteligibilidad y la naturalidad del sistema deconversin. Para tal fin se preparan una serie de pruebas, algunas de las cualestienen un contenido netamente fontico y lingstico (Aguilaret al., 1994; Pols,1996; Pols y Jekosch, 1997).

Uno de los aspectos ms bsicos que puede evaluarse en un conversor es la

inteligibilidad de los elementos segmentales. Las pruebas consisten, por logeneral, en la presentacin de una serie de estmulos sintetizados para poner demanifiesto los errores que se producen cuando los oyentes deben identificar lossonidos que los forman. Una de las pruebas ms habituales es el llamado Testde Rimas, formado por conjuntos de palabras monosilbicas que difieren en unnico segmento, sea en posicin inicial o final; en la hoja de respuesta sepresenta toda la serie por ejemplo, ved, ven, ves, ver o can, tan, pan, dan-y los oyentes deben identificar cul de las palabras es la que han escuchado ensu versin sintetizada. Este mtodo entronca directamente con la nocin de par

mnimo, de modo que el diseo de la prueba se fundamenta en el conocimientode las oposiciones fonolgicas de la lengua.


12/63


12

En otro tipo de pruebas en las que se valora la inteligibilidad de palabrasen frases con o sin sentido se utilizan conjuntos de enunciados una de cuyascaractersticas principales es que son fonticamente equilibrados. Tal es el caso

de las Frases Psicoacsticas de Harvard o las Frases Semnticamente Anmalasde Haskins, en las que la frecuencia de aparicin de cada uno de los fonemas oalfonos corresponde a la frecuencia de aparicin propia en la lengua. Laadaptacin de estas pruebas, inicialmente concebidas para el ingls, a otralengua, supone disponer de datos fiables en lo que se refiere a la frecuencia deaparicin de elementos segmentales, obtenidos preferentemente a partir de uncorpus amplio y representativo de la lengua hablada.

Es tambin importante en muchas ocasiones evaluar la comprensin delhabla sintetizada. Para ello se recurre a menudo a la audicin de un texto, tras la

cual se realizan una serie de preguntas de eleccin mltiple sobre su contenido,igual que sucede en las pruebas de comprensin auditiva utilizadas en laenseanza de lenguas extranjeras. La seleccin de los textos debe tener encuenta, entre otros, factores semnticos, discursivos y los relacionados con latipologa textual, de modo que la intervencin de un experto con buenosconocimientos en estas materias se hace necesaria para garantizar la fiabilidadde los resultados.

Observamos, pues, como la evaluacin del resultado de la sntesis sefundamenta, en parte, en conocimientos sobre la estructura de la lengua, demodo que el lingista encuentra tambin un lugar en esta etapa, imprescindibleen el momento en que se plantea una aplicacin real.

2.2. Reconocimiento del habla

En el reconocimiento automtico del habla (RAH o ASR, AutomaticSpeech Recognition) se realiza, en cierto modo, la tarea inversa a la que se llevaa cabo en la conversin, puesto que lo que se pretende con esta tecnologa estransformar una seal sonora el habla es su correspondiente representacinsimblica que, en general, ser un texto escrito (Cole y Zue, 1997; Deroo, 1999;

Kurzweil, 1998; Tapias, 1999, 2002)4

. Tal es el objetivo, por ejemplo, de losprogramas comerciales de dictado automtico orientados a los usuarios quedesean escribir sus textos sin recurrir al teclado del ordenador.

Los reconocedores pueden considerarse, en esencia, como unos sistemasque, en una primera etapa, aprenden automticamente de un extenso corpus dehabla y, en el momento de enfrentarse a un nuevo enunciado, lo comparan conlos datos que previamente han extrado de este corpus. Por tal razn, una de las

4En las pginas del Grupo de Procesado del Habla de la Universidad Politcnica de Cataluase encuentran demostraciones de sistemas de reconocimiento de habla en espaol.


13/63


13

primeras actividades a la hora de desarrollar un sistema de reconocimiento esdisear y recoger lo que se conoce como corpus de aprendizaje (o deentrenamiento), a partir del cual el sistema adquirir la informacin necesaria

para crear modelos de cada una de las unidades de reconocimiento, anlogas, enocasiones, a las de la sntesis descritas en el apartado 2.1.1. El corpus deentrenamiento se utiliza tambin para la obtencin de la gramtica delreconocedor, entendida como un modelo que recoge las probabilidades deaparicin de palabras en un determinado punto.

Al igual que en sntesis se establecen las unidades que se emplearn para lageneracin de enunciados, en reconocimiento se definen aquellas que el sistemautilizar para convertir la seal acstica en un texto. Sin embargo, existe unadiferencia esencial entre ambas tecnologas, ya que si en la conversin de texto

en habla las unidades se extraen de la grabacin de un nico locutor, unreconocedor debe estar preparado para tratar las realizaciones fonticas de ungran nmero de usuarios si, por ejemplo, quiere aplicarse para automatizar unservicio de asistencia telefnica a clientes o emplearse en un portal de voz queofrezca informacin general.

El corpus de entrenamiento de un reconocedor debe, por tanto, contener lamayor variedad posible de hablantes para que puedan crearse los modelosplantillas o representaciones internas que posee el sistemade cada una delas unidades, reflejando la variacin individual de las voces, los distintosacentos debidos a factores geogrficos o sociolingsticos y, entre otroselementos, las diferencias en la velocidad de elocucin (Strik y Cucchiarini,1999). La dialectologa constituye en esta fase una disciplina casiimprescindible, ya que contribuye a definir las zonas geogrficas en las que esnecesario recoger muestras, mientras que la demografa establece el porcentajede hablantes que representarn a cada una de las reas seleccionadas. Un corpusde entrenamiento tiene que incluir necesariamente hablantes de las principalesvariantes dialectales de la lengua para que el futuro usuario del reconocedor noencuentre dificultades debidas a su acento como consecuencia de la falta de

muestras del mismo en el corpus (Caballero y Moreno, 2001).Por otra parte, el corpus de entrenamiento debe ser tambin exhaustivo en

lo que a la aparicin o cobertura de las unidades de reconocimiento se refiere.Como ocurre en la sntesis, se define, en primer lugar, el inventario de alfonosde la lengua y, en segundo, las posibles combinaciones entre ellos formando,por ejemplo, difonemas (vase el apartado 2.1.1). Intervienen tambin aqufactores relacionados con la frecuencia de aparicin, ya que cada unidad debeestar representada un mnimo de veces en el corpus para que la creacin de losmodelos o plantillas a las que nos referamos anteriormente sea fiable. Todo ello

exige un trabajo fontico de anlisis de la lengua en trminos estadsticos, as


14/63


14

como tambin una labor de descripcin previa del conjunto de los alfonosaceptados y de su distribucin contextual.

Una vez recogido el corpus, ste se somete a un proceso de segmentacin yetiquetado automticos para establecer las fronteras entre los segmentos y lasunidades y para sincronizar la representacin ortogrfica con la seal sonora, talcomo se muestra en la figura 10. Nuevamente el conocimiento de la fonticaacstica es esencial para establecer criterios homogneos de segmentacin, deetiquetado y de transcripcin, as como para revisar manualmente los resultadosdel tratamiento automtico.

Finalmente, un reconocedor incluye tambin, en muchas ocasiones, undiccionario en el que se encuentran transcritas fonticamente las palabras que

puede aceptar el sistema (vase el apartado 4.2). Es una labor propia dellingista definir la transcripcin cannica de cada palabra, y establecer mediantereglas la relacin entre sta y las variantes que se hayan encontrado en el corpusde entrenamiento o las que puedan preverse en funcin de la variacin fonticadocumentada en la lengua en la que se desarrolle el sistema.

Toda la informacin recogida en la fase de entrenamiento se incorpora alos mdulos que se muestran en la figura 2 para el reconocimiento de nuevosenunciados. La seal sonora se analiza, en una primera etapa, para extraer losparmetros acsticos que se han considerado relevantes en el momento del

diseo (Nadeu, 2001), y despus se compara, en el mdulo de reconocimiento,con los modelos acsticos de las unidades de reconocimiento que se hanalmacenado previamente en el sistema; la decisin final suele tomarse con laayuda de las reglas gramaticales que constituyen el modelo de lenguaje, en lasque se definen, a grandes rasgos, la probabilidad de las secuencias de palabrasque pueden encontrarse en el contexto de una determinada aplicacin.


15/63


15

Figura 2: Principales mdulos de un sistema de reconocimiento de habla

En conclusin, a pesar de que el papel del conocimiento lingstico no seatal vez tan determinante como en la conversin de texto en habla, pareceevidente que disciplinas como la fontica y la dialectologa son muy relevantespara el reconocimiento automtico del habla, en la medida en que aportan

informacin bsica y criterios prcticos para el desarrollo de los sistemas.2.3. Sistemas de dilogo

Los sistemas de dilogo (SLS, Spoken Language Systems) tienen comoobjetivo facilitar la interaccin mediante el habla entre una persona y un sistemainformtico (Bonafonte et al., 2000; Gibbon et al., 2000; Minker y Bennacef,2001; Tapias, 2002; Zue, 1999)5. En consecuencia, se utilizan en serviciostelefnicos automticos de informacin y de atencin al cliente, o en mbitoscomo la banca y el comercio electrnicos. Los sistema de dilogo constituyen

tambin una de las tecnologas bsicas que sustentan los denominados portalesde voz, a travs de los que es posible acceder a una amplia gama de servicios -informacin meteorolgica, cartelera, museos, restaurantes, farmacias deguardia, compaas de taxi, etc.- equivalentes a los que se encuentran en losportales convencionales en la web (Fernndez et al., 2000).

5Se encuentran ejemplos de sistemas de dilogo en espaol en las pginas del GSTC-Grupode Investigacin en Seales, Telemtica y Comunicaciones de la Universidad de Granada y

en las del proyecto BASURDE (Sistema de Dilogo para Habla Espontnea en un DominioSemntico Restringido).


16/63


16

Un sistema de dilogo consta de un conjunto de mdulos (Figura 3) querealizan todas las tareas necesarias para facilitar una informacin o llevar a cabouna transaccin. El primero es un reconocedor automtico del habla, que

procesa las preguntas del usuario y convierte la seal sonora en unarepresentacin simblica accesible al sistema informtico. A continuacin selleva a cabo la interpretacin semntica del enunciado, a partir de la cual seconsulta, si es necesario, una base de datos con la informacin relevante paraproporcionar la respuesta a la peticin realizada. Un tercer mdulo genera unenunciado completo que contiene los resultados de la consulta o que, en su caso,solicita al usuario que confirme un dato o proporcione una informacinadicional. Finalmente, un conversor de texto en habla se encarga de transformarlos resultados del mdulo de generacin en su equivalente sonoro para que

pueda ser escuchado por el usuario al otro lado del telfono. Las tareas de estosmdulos estn, en cierto modo, coordinadas por lo que se conoce como ungestor del dilogo, que establece, por ejemplo, los turnos de palabra, verificala coherencia entre la pregunta y la respuesta e interpreta las intervenciones delusuario que hacen referencia a informacin previa, poniendo en prctica lasestrategias diseadas por los investigadores para que la interaccin entre lapersona y el sistema automtico se lleve a cabo de la forma ms natural posible.

Figura 3: Principales mdulos de un sistema de dilogo

El desarrollo de un sistema de dilogo se inicia estudiando con detalle la

tarea que se desea automatizar. Para ello se parte de corpus que recogeninteracciones autnticas entre personas, como, por ejemplo, grabaciones de


17/63


17

llamadas a un servicio de informacin convencional. A partir de estos datos sedetermina el tipo de consultas que se realizan ms habitualmente y se definenuna serie de escenarios, para cada uno de los cuales se especifican las

intervenciones que debe realizar el sistema de dilogo en funcin de laspeticiones del usuario.

Sin embargo, puesto que las personas no actan del mismo modo cuandose dirigen a un interlocutor humano que cuando se enfrentan a un sistemaautomtico, se recurre, en una segunda fase del diseo, al procedimientoconocido como el Mago de Oz. En este caso, el usuario que realiza unallamada escucha al otro lado del hilo telefnico una voz sintetizada que leproporciona las respuestas a sus consultas; en la prctica, estas respuestas lasdecide, en funcin de los escenarios previamente establecidos, un investigador

humano que sigue la conversacin y que enva a un conversor de texto en hablalos mensajes ms adecuados a cada situacin. La grabacin de lasconversaciones proporciona unos datos que responden en mayor medida que losintercambios personapersona a la situacin real de uso de un sistema dedilogo, constituyndose as un corpus a partir del cual se refina el diseo delsistema.

Los problemas lingsticos implicados en el desarrollo de un sistema dedilogo son, como puede deducirse, de naturaleza diversa (Llisterri, 2002;Llisterri et al., 2003). En primer lugar encontramos los derivados delreconocimiento del habla: un reconocedor, por ejemplo, puede presentarproblemas a la hora de distinguir entre Palencia y Valencia, lo que hacenecesario que en el mdulo de gestin del dilogo se prevean estrategias deconfirmacin de la informacin dudosa, preguntando, por ejemplo Deseausted viajar a Palencia o a Valencia? o Quiere usted saber los horarios detrenes a Palencia?. El reconocimiento de los rasgos prosdicos puede sertambin muy relevante para el buen desarrollo del dilogo: as, la interpretacinde dos enunciados como No, quiero viajar por la maana o No quiero viajarpor la maana depende exclusivamente de la correcta deteccin de la pausa; de

un modo anlogo, la diferencia entre una pregunta -Puedo viajar el lunes? ouna aseveracin Puedo viajar el lunes se manifiesta nicamente en laentonacin, por lo que el mdulo de reconocimiento debe estar preparado paraproporcionar al mdulo semntico la informacin relevante.

En otras ocasiones, los problemas responden a la diferente interpretacinde una palabra en funcin de su aparicin en el enunciado: Maana, porejemplo, no debe interpretarse del mismo modo en Quiero ir maana a... queen Quiero salir por la maana; otros elementos como cundo en Cundohay trenes para...? pueden ser ambiguos al referirse, pongamos por caso, al da,

al momento del da o a una hora precisa. Tambin el mdulo de interpretacin


18/63


18

semntica debe enfrentarse a la diversidad de procedimientos con los que puedesolicitarse una misma informacin: Quiero saber a qu hora hay trenes a...,A qu hora hay trenes a...?, Necesito informacin sobre los horarios de

trenes a..., Cundo sale un tren a...?, etc., corresponden, en realidad, a lamisma peticin de informacin al mismo acto de habla, en trminoslingsticos y deben tratarse, por tanto, de un modo equivalente. Larecuperacin de las anforas y de los decticos es otra cuestin que se aborda enel mdulo de interpretacin semntica. Muy probablemente un usuario no repitaen cada uno de sus enunciados la palabra billete, por ejemplo, sino que losustituya por lo tras haberla utilizado una vez. Del mismo modo, los decticosde tiempo y de lugar deben interpretarse de forma correcta partiendo delconocimiento adquirido por el sistema a lo largo del dilogo.

La generacin de respuestas plantea igualmente problemas de tipolingstico, anlogos a los que se tratan en la generacin del lenguaje (vase elapartado 3.2.1), un mbito propio del procesamiento del lenguaje que encuentrasu aplicacin en el diseo de las llamadas interfaces en lenguaje natural(Rodrguez, 2001). Adems de ser gramaticalmente correctas, las respuestas deun sistema de dilogo deben ser pragmticamente adecuadas, no slo en elcontenido, sino tambin en lo que se refiere, por ejemplo, a la cortesa. Un casoespecialmente interesante surge en el momento en que el sistema debeconfirmar una informacin que ha obtenido del usuario. En estas situaciones,

puede recurrirse a estrategias directas como Ha solicitado informacin sobretrenes a Valencia? o indirectas del estilo de Para ir a Valencia.... lo queimplica, en cierto modo, la eleccin de un tipo u otro de acto de habla6.

Finalmente, y aunque pueda parecer una obviedad, las respuestas deben seraceptables desde el punto de vista de la normativa de la lengua. Un sistema dedilogo tcnicamente excelente puede ofrecer una imagen pblica no demasiadobuena de una institucin o de una empresa si las respuestas proporcionadas noresponden a un mnimo de correccin lingstica, por lo que la revisin a cargode un experto no es, en absoluto, una cuestin trivial.

As pues, una vez ms comprobamos que una tecnologa como la de lossistemas de dilogo requiere la incorporacin de conocimientos lingsticos. Sien los casos anteriores era la informacin fontica la que poda tener un papelms relevante, la semntica, la pragmtica y, muy especialmente, el anlisis dela conversacin, son disciplinas que no cabe dejar de lado en el diseo y laevaluacin de un sistema de dilogo.

6Todos los ejemplos de este apartado estn tomados de Llisterri et al., 2003.


19/63


19

3. Tecnologas del texto

En contraste con las tecnologas del habla, que tienen por objeto eltratamiento de la seal sonora, las que podramos llamar tecnologas del texto seocupan de la vertiente escrita de la lengua. Su desarrollo inicial estuvoestrechamente ligado al de la informtica y, en particular, a la inteligenciaartificial, lo que se comprende fcilmente si recordamos que a mediados de losaos 50 el inters primordial en el campo del procesamiento del lenguaje era latraduccin automtica.

En el mbito de las tecnologas del texto, podramos distinguir, aunquenicamente sea para facilitar la exposicin, entre las herramientas con las que seprocesa la lengua escrita, que se presentan en el apartado 3.1, y las tecnologas

empleadas en el desarrollo de aplicaciones, descritas en el apartado 3.2. Al igualque en el caso de las tecnologas del habla, intentaremos poner de relieve lasfunciones que el lingista puede desempear en la creacin de herramientas yde tecnologas, centrando la exposicin en el conocimiento lingstico que cadauna de ellas requiere.

3.1. Herramientas para el tratamiento del texto

En lo que se refiere a las herramientas, cabe diferenciar las que llevan acabo un anlisis lingstico del texto (3.1.2) de las que ayudan a la escrituraverificando la ortografa, la gramtica o el estilo (3.1.1). Mientras que las

primeras se emplean, en general, como parte de una aplicacin para elprocesamiento del lenguaje, las segundas estn directamente disponibles para elusuario final, integradas en los programas ms comunes de tratamiento de textoso disponibles en lnea para resolver consultas espordicas.

3.1.1. Herramientas de ayuda a la escritura

Sealbamos al principio que una de las aplicaciones ms extendidas de lastecnologas lingsticas son los programas de correccin ortogrfica ygramatical que se encuentran incorporados a la mayora de los procesadores de

textos y que pueden describirse genricamente como herramientas de ayuda a laescritura (Gmez, 1999, 2001). Es frecuente distinguir, en la correccinautomtica de textos, tres niveles de complejidad creciente: verificacinortogrfica, verificacin gramatical y verificacin de estilo; como veremos acontinuacin, todos ellos son susceptibles de incorporar informacin lingsticapara mejorar sus prestaciones7.

7En las pginas de la empresa DaedalusData, Decisions, Language SA. pueden verse variasdemostraciones de revisin de textos en lnea.


20/63


20

Para quien emplea con asiduidad un corrector ortogrfico no es difcilpercatarse de que ciertos errores en el texto escapan con facilidad al sistema.Por ejemplo, un corrector comercial como el que se usa para escribir este

artculo acepta las palabras segmental y supranacional, mientras que sealacomo un error la aparicin de suprasegmental; de igual modo, aceptaformante pero no formntico. Ello muestra que, como es habitual en estasherramientas, no slo aparecen como errneas palabras que contienenequivocaciones ortogrficas o de mecanografiado, sino tambin palabrasexistentes en la lengua cierto es que, en este caso, se trata de dos tecnicismospropios de la fontica pero que no han sido incluidas en el diccionario en elque se basa el corrector. La incorporacin de conocimiento morfolgicopermitira, en parte, subsanar estos errores, pues el diccionario contendra

supra marcado como un prefijo que puede aadirse a ciertas clases depalabras e incorporara tambin reglas de derivacin que permitieran, a partir dela deteccin del radical, aceptar formntico.

Otro procedimiento de correccin de errores ortogrficos vendra dado porla comparacin entre una transcripcin fontica de la palabra y lastranscripciones similares que se hallaran en el diccionario; para tal fin podranusarse los resultados de un motor de semejanza fontica como el que seejemplifica en la figura 4.

Figura 4: Resultados de la bsqueda en un motor de semejanza fontica de lapalabra traje (Signum Cia. Ltd.)

Es igualmente una experiencia habitual que un verificador ortogrfico noseale errores como la falta de concordancia entre el sujeto y el verbo en casoscomo Los nios lee libros. Puesto que la forma lee se encuentra en eldiccionario, si no se incorpora al proceso de correccin un anlisis sintctico


21/63


21

que divida el enunciado en constituyentes y asigne a cada uno su funcinsintctica, el programa no detecta que lee debera ser, en realidad, leen.

Para resolver este ltimo problema existen herramientas como losverificadores gramaticales (Ramrez y Snchez, 1996; Ramrez et al., 1998;Rodrguez et al., 1992). De hecho, los sistemas actuales se limitan, por logeneral, a comparar secuencias de palabras con unos patrones de errorespreviamente establecidos. Aunque esta pueda parecer una operacin trivial, elestablecimiento de unos patrones de validez general para un determinado tipode error requiere, en ocasiones, un cierto grado de abstraccin lingsticacomplementado con el uso de informacin morfolgica (Gmez, 2001).

Finalmente, los verificadores de estilo comprueban la adecuacin del texto

a un conjunto de reglas previamente definidas. Una vez el usuario haestablecido el tipo de texto general, tcnico, literario, etc.-, el corrector detectaaquellos elementos que no corresponden a los rasgos aceptados para un estilodeterminado. Para llegar a alcanzar buenos resultados se requiere disponer, enprimer lugar, de una tipologa textual y, en segundo, de una enumeracin lo msdetallada posible de los rasgos lingsticos que caracterizan a cada tipo de textoo estilo.

En resumen, la correccin automtica de un texto en cualquiera de los tresniveles sealados puede mejorar notablemente si se incorporan herramientas

como los analizadores morfolgicos y sintcticos (vase el apartado 3.1.2), oincluso con la utilizacin de informacin fontica. En el caso de la correccinde estilo se requiere, adems, una descripcin de las caractersticas lingsticasde cada uno de los estilos o tipos de texto que deban tratarse. Por este motivo,en el equipo que desarrolla un programa de ayuda a la escritura es muyaconsejable la presencia de expertos con conocimiento no nicamente de lanormativa de la lengua, sino tambin de todos los niveles de la descripcinlingstica, incluyendo el textual.

3.1.2. Herramientas de anlisis lingstico

Como sealbamos anteriormente, existen otras herramientas que no sondirectamente accesibles al usuario pero que, en cambio, son imprescindible parael desarrollo de muchas de las tecnologas lingsticas. Se trata de programasque realizan de un modo automtico las operaciones que un especialista enmorfologa y sintaxis conoce a la perfeccin: extraer la raz de una palabra,segmentar la palabra en morfemas, asignarles la categora gramaticalcorrespondiente, determinar la parte de la oracin a la que pertenece la palabra,y descomponer una frase en sus constituyentes indicando la funcin sintcticade cada uno de ellos.


22/63


22

Nos referiremos en primer lugar a los lematizadores8, cuya funcin esdetectar el radical de una palabra es decir, la forma que en los diccionariosaparece como lema-, separndola de los morfemas derivativos o flexivos que la

acompaan (Santana et al., 1997, 1999). En la figura 5 puede verse, a modo deejemplo, el resultado de la lematizacin y del anlisis morfolgico automticode la forma canto.

Figura 5: Lematizacin de la forma canto (CLiC, Centre de Llenguatge iComputaci, Universitat de Barcelona)

Es importante destacar que, como se discute ms adelante (vase elapartado 4.1.2), la ambigedad constituye un problema muy importante para lasdiversas herramientas de procesamiento del lenguaje: como se aprecia en elejemplo de la figura 5, sin disponer de ms informacin, la forma canto seanaliza automticamente como nombre o como verbo.

Un lematizador permitira definir, segn indicbamos en 3.1.1, los patronesde correccin gramatical que se aplicarn a un determinado verbo, sin tener querepetirlos para cada una de sus formas conjugadas; facilitara tambin laconfeccin de un diccionario para un corrector ortogrfico, pues permitiraincorporar al mismo nicamente los lexemas y, con la ayuda de reglasmorfolgicas, podran detectarse errores en todas las formas flexionadas de unamisma palabra sin necesidad de que todas ellas estuvieran incluidas en eldiccionario. En otro orden de cosas, una bsqueda en la web ayudada por unlematizador contribuira a encontrar una informacin mucho ms rica, pues

podran localizarse pginas que incluyeran no slo la palabra que se haintroducido en la ventana de bsqueda, sino tambin las que comparten con ellala misma raz (vase el apartado 3.2.4).

Tambin para la propia investigacin lingstica es til disponer de unlematizador cuando se trabaja con grandes corpus de textos (descritos en elapartado 4.1.2.): la operacin de buscar todas las formas de un verbo en varios

8Pueden encontrarse demostraciones del funcionamiento de lematizadores en espaol en las

pginas del CliC, del GEDLC-Grupo de Estructura de Datos y Lingstica Computacional dela Universidad de las Palmas de Gran Canaria y en las de la empresa Signum.


23/63


23

millones de palabras puede ser sumamente larga si debe repetirse para cadapersona, tiempo y modo; en cambio, en un corpus lematizado, cada una de lasformas que adquiere un verbo en su flexin est asociada al correspondiente

infinitivo. De este modo, no slo se facilita la localizacin de un verbo en elcorpus, sino que tambin se calculan con facilidad estadsticas de frecuencias deaparicin sin tener que recurrir a contar individualmente cada una de las formasconjugadas.

Un analizador morfolgico9 (Part-of-Speech Taggero POS Tagger)descompone la palabra en los morfemas que la constituyen y determina lacategora gramatical de cada uno de ellos, as como la categora lxica de lapalabra (Atserias et al., 1998; Gonzlez et al., 1995; van Halteren yVoutilainen, 1999). En la figura 6 se muestra un ejemplo de anlisis

morfolgico automtico, acompaado de la correspondiente lematizacin.

Figura 6: Lematizacin y anlisis morfolgico de Las tecnologas lingsticasmejorarn las economas (CLiC, Centre de Llenguatge i Computaci,

Universitat de Barcelona)

Otra de las operaciones que pueden llevarse a cabo automticamente es elanlisis sintctico10 (Syntactic Parsing). Tal como se aprecia en la figura 7, conello se obtiene la estructura de constituyentes de una oracin junto con lainformacin sobre su categora gramatical (Castelln et al., 1998; Atserias et

al., 1998; Rodrguez, 2002). Este ejemplo muestra tambin que la ambigedadde la forma canto que encontrbamos anteriormente se resuelve en cuanto seanaliza en el contexto de una oracin, puesto que de forma automtica se ha

9Se encuentran demostraciones de analizadores morfolgicos en espaol en las pginas delCliC, del TALP, del gilcUB-Grup d'Investigaci en Lingstica Computacional de laUniversidad de Barcelona, del GEDLC y del Grupo de Sistemas Inteligentes de laUniversidad Politcnica de Madrid.

10 En las pginas del CliC y del TALP pueden verse tambin demostraciones de anlisissintctico en espaol.


24/63


24

detectado que en su primera aparicin es un verbo y en su segunda un nombrecomn.

Figura 7: Anlisis sintctico de Yo canto canto gregoriano todos los das(CLiC, Centre de Llenguatge i Computaci, Universitat de Barcelona)

Con independencia de los algoritmos empleados, las tres herramientas queacabamos de presentar requieren la formalizacin del conocimiento lingstico,ya que, de alguna manera, como se planteaba al principio, realizan de formaautomtica las operaciones de segmentacin y anlisis que llevara a cabo un

experto en morfologa y en sintaxis enfrentado a la misma tarea. La presenciadel lingista es, por tanto, imprescindible en el desarrollo de las herramientas,en una primera fase para definir las etiquetas, es decir, las categorasmorfolgicas y lxicas que se asignan en el anlisis y, en las etapas sucesivas,para validar y refinar los resultados. Como sealbamos en el caso de laconversin la conversin de texto en habla, la evaluacin constituye tambinaqu una tarea que debera llevar a cabo un especialista, pues del mismo modoque un lingista difcilmente podr llegar a valorar los aspectos informticos delos algoritmos de anlisis, tampoco parece lgico que sea el experto en

lenguajes de programacin quien decida la adecuacin lingstica de un anlisismorfolgico o sintctico.

Finalmente, cabra hacer referencia a las herramientas de anlisissemntico. Como puede suponerse, las dificultades son, en este caso, muchomayores, en consonancia con los problemas de la representacin del significadoen el marco de la teora lingstica. La anotacin semntica automtica de lostextos se lleva a cabo en la actualidad recurriendo a soluciones que podrancalificarse como parciales y muy ligadas a la aplicacin. Badia (2001) sealacomo prcticas realistas la incorporacin de rasgos semnticos a los resultados

del anlisis sintctico, la integracin de la informacin semntica en el propioanlisis sintctico el modelo ms prometedor, en opinin de este autor y la


25/63


25

anotacin semntica con total independencia de la sintaxis mediante etiquetasestrechamente vinculadas al campo semntico propio de un determinado texto.

3.2. Procesamiento del lenguaje natural

Las herramientas de anlisis y las gramticas (descritas en el apartado 4.3)encuentran su aplicacin en los diversos mbitos que constituyen elprocesamiento del lenguaje natural (PLN o NLP, Natural Language Processing)(Badia, 2001; Jurafsky y Martin, 2000; Mart y Llisterri, 2002; Moreno et al.,1999; Rodrguez, 2000). Centraremos la exposicin en algunos mbitosconcretos, con objeto de poner nuevamente de relieve el papel del conocimientolingstico en las tecnologas del lenguaje. En los siguientes apartados seabordan, sin entrar en detalles tcnicos, la generacin (3.2.1) y la comprensin

(3.2.2) de textos, la traduccin automtica (3.2.3), y la recuperacin yextraccin de informacin (3.2.4).

3.2.1. Generacin del lenguaje

Si en la sntesis del habla el objetivo bsico es conseguir la produccin demensajes orales, en la generacin del lenguaje (NLG, Natural LanguageGeneration) se persigue la creacin automtica de textos escritos (Bateman yZock, 2002; Uszkoreit, 1997; Chevreau et al., 1999). En este sentido, el mdulode generacin de respuestas de un sistema de dilogo (vase el apartado 2.3.)sera una aplicacin particular de la tcnica que ahora tratamos.

La generacin se realiza a partir de una representacin abstracta que debetransformarse en un texto bien formado en todos sus aspectos. Como argumentaBadia (2001), el principal problema de la generacin reside en que el contenidode una misma representacin puede manifestarse en la lengua de diversosmodos. Las dificultades son menores cuando la informacin de la que se partees nicamente de tipo morfolgico, pero aumentan en el momento de generaruna oracin o un texto a partir de su representacin sintctica o semntica. Estose debe a que, al igual que un mismo acto de habla puede realizarse de modosmuy diversos (vase el apartado 2.3.), la expresin, por ejemplo, de la

impersonalidad, puede tambin llevarse a cabo a travs de distintosprocedimientos gramaticales.

Por otro lado, la seleccin del tipo de texto que se crea a partir de unadeterminada forma abstracta no depende tan solo de factores puramentegramaticales, sino que tambin intervienen aspectos pragmticos, criteriosrelacionados con la tipologa textual, y otros condicionantes de tiposociolingstico, como el registro. El procedimiento mediante el que el sistemade generacin lleve a cabo la eleccin de la versin final que proporcionar alusuario tiene, naturalmente, una incidencia importante en la naturalidad delresultado (Badia, 2001).


26/63


26

La informacin de tipo lingstico es, pues, esencial tanto en el desarrollocomo en la evaluacin de un sistema de generacin de lenguaje, ya que de elladependen la determinacin del tipo de representacin abstracta ms adecuada y

la estrategia para decidir la forma final que sta va a adoptar.3.2.2. Comprensin del lenguaje

Cuando los expertos en lingstica computacional se refieren acomprensin del lenguaje (NLU, Natural Language Understanding) ,ciertamente emplean el trmino comprensin de un modo restringido (Allen,1988; Zaenen, 1997). Un ejemplo lo observbamos al referirnos a lainterpretacin de las preguntas del usuario por parte de un sistema de dilogo: elproceso, aun con toda su complejidad, se limitaba a extraer una representacin

del significado casi exclusivamente enfocada a localizar la informacinnecesaria en una base de datos (vase el apartado 2.3). De un modo anlogo, lacomprensin en el procesamiento del lenguaje natural debe entenderse como lacreacin, a partir de un texto escrito, de una representacin del contenidonecesaria para realizar otras operaciones.

En el campo de las tecnologas del habla se investiga en la actualidad sobrela comprensin de la lengua oral (SLU, Spoken Language Understanding). Paralograr este objetivo se requiere la integracin de un sistema de reconocimientoautomtico del habla con un procedimiento de comprensin del lenguaje

natural, de modo que el reconocedor puede aportar, por ejemplo, informacinprosdica que no se recoge en el texto escrito y el sistema de comprensinproporciona la informacin sintctica y semntica (Cols, 2001; Price, 1997).

Como es lgico, la comprensin depende fundamentalmente de lasherramientas de anlisis morfolgico, sintctico y, especialmente, semnticoque describamos en el apartado 3.1.2, as como tambin del desarrollo de unagramtica y de un diccionario. No es preciso insistir en que algunos de losproblemas ms bsicos residen en la formalizacin del conocimiento lingsticoy en la creacin de gramticas y herramientas de anlisis cada vez ms

sofisticadas.3.2.3. Traduccin automtica

Como ya se ha sealado, la traduccin automtica (TA o MT, MachineTranslation) fue uno de las primeras aplicaciones que se intentaron abordar enel campo del procesamiento informtico del lenguaje (Abaitua, 2002a; Alonso,2001; Amores, 2000; Cerd, 1995; Trujillo, 2000). Desde sus inicios en los aos50 hasta los actuales sistemas comerciales, la traduccin automtica ha sufridouna historia llena de altibajos, con momentos de gran optimismo y con pocasen las que la investigacin en este campo no gozaba, en ciertos sectores, demucho prestigio.


27/63


27

Hoy en da, un usuario de los sistemas gratuitos que se ofrecen en Internetpuede llegar a pensar que no se han realizado grandes avances; tal opinin nosera del todo injustificada si se observa, por ejemplo, el texto periodstico

traducido automticamente del ingls al espaol mediante Systran (Figura 8), unsistema utilizado por la Comisin Europea y que se ha incorporado a portalescomo Altavista o Google.

Figura 8: Traduccin automtica de un texto periodstico mediante el sistemaSystranBox (http://www.systranbox.com/)

Sin embargo, existen aplicaciones profesionales que permiten obtenerbuenos resultados con textos especializados en dominios bien delimitados y sehan desarrollado, adems, sistemas de traduccin asistida (TAO o CAT,

Computer Assisted Translation) que mejoran notablemente la labor deltraductor.

Los problemas de la traduccin automtica son, como pone de relieveAlonso (2001), los propios de la interpretacin de enunciados en el lenguajehumano: por un lado, se requiere conocimiento morfolgico, sintctico, lxico ysemntico, mientras que, por otro, es imprescindible en ciertos casos lo que sedenomina el conocimiento del mundo, informacin que difcilmente puedeformalizarse, por el momento, en un programa informtico.

Las estrategias para la traduccin automtica suelen clasificarse en funcin

de la potencia lingstica del programa, distinguiendo entre la traduccin
http://liceu.uab.es/~joaquim/publicacions/TecnoLing_Lynx02.pdfhttp://www.systranbox.com/http://www.systranbox.com/http://www.systranbox.com/http://liceu.uab.es/~joaquim/publicacions/TecnoLing_Lynx02.pdf


28/63


28

directa, los sistemas basados en transferencia y los que utilizan la interlingua.La traduccin directa, que recurre nicamente a lxicos monolinges ybilinges, ofrece, como puede suponerse fcilmente, una calidad muy baja. En

cambio, los sistemas que se basan en la transferencia permiten obtener mejoresresultados, a costa de una mayor complejidad en el procesamiento.

Como se muestra en la figura 9, en los sistemas que emplean latransferencia, tras la segmentacin en frases del texto de entrada en la lengua deorigen, se realiza el anlisis lingstico, recurriendo a herramientas detratamiento morfolgico y sintctico que emplean las reglas de la gramtica deanlisis y los datos de un lxico monolinge de la lengua de origen; con ello secrea una representacin de la que, en la fase de transferencia, se traduce cadapalabra por medio de un lxico bilinge, teniendo tambin en cuenta toda la

informacin estructural acumulada durante el anlisis. Finalmente, en la fase degeneracin se convierten los resultados de la transferencia en oracionesgramaticalmente aceptables en la lengua de destino (Alonso, 2001).


29/63


29

Figura 9: Principales mdulos lingsticos de un sistema de traduccinautomtica basado en la transferencia (Basado en Alonso, 2001)

Los sistemas que utilizan lo que se conoce como interlingua emplean parala traduccin una representacin abstracta del significado, extrada durante lafase de anlisis, y que se utiliza como base para la generacin. La principal

dificultad estriba, por tal motivo, en la representacin exhaustiva de losconceptos en trminos de rasgos semnticos y de las relaciones que pueden


30/63


30

establecerse entre los mismos. Un traductor automtico basado en la interlinguapuede, por tanto, proporcionar buenos resultados con textos de un mbito muyrestringido, pero presenta an problemas importantes tanto en el diseo como en

la puesta en prctica (Alonso, 2001).En los ltimos aos ha surgido tambin un notable inters por la traduccin

de la lengua oral (SLT, Spoken Language Translation), con el fin de facilitarque dos personas se comuniquen, por ejemplo, en una conversacin telefnica,en dos lenguas diferentes sin renunciar cada una a la suya propia (Pastoret al.,2001; Wahlster, 2000; Waibel, 2000). Para lograr este objetivo se integra unaherramienta de traduccin automtica de textos en un sistema de dilogo, demodo que el enunciado en la lengua de entrada procesado por el reconocedor dehabla se traduce a la lengua de salida y se enva a un conversor de texto en

habla.Uno de las principales obstculos para esta tarea radica en el propio

carcter del habla espontnea, caracterizada por lo que se ha dado en llamardisfluencias, como son las dudas relacionadas con la planificacin deldiscurso que se manifiestan en elementos vocales como eh, mmm o enalargamientos voclicos-, los falsos principios, las repeticiones, y una velocidadde elocucin mucho mayor que la que se dara al redactar un texto con unprograma de dictado automtico. Waibel (1996) ofrece como ejemplo de talesdificultades el resultado de traducir al ingls la transcripcin ortogrfica literalde una conversacin telefnica en espaol mediante un sistema comercial detraduccin automtica:

...s s el viernes diecinueve puedo s porque sabes me

voy de viaje d hoy la verdad as es que este mes es muy

viajero me voy el da seis de viaje y estoy hasta el doce

as que el da diecinueve me viene muy bien

francamente...

..yes yes on friday nineteen can yes because know I go

me of trip D today the truth such is that this month is

very traveler I go me the day six of trip and I am until

the twelve as son as the day nineteen comes me very well

outspokenly..

Al margen de los problemas que para un reconocedor presentara el hablaespontnea y ms si se da en un entorno ruidoso como una calle, unaeropuerto, el interior de un vehculo, etc.-, el sistema de traduccin deberaenfrentarse, como puede observarse, a enunciados gramaticalmente malformados, al menos desde el punto de vista de la lengua escrita. Tal comosugiere Waibel, la estrategia adecuada en tales situaciones sera intentarrecuperar la informacin semntica y la intencin comunicativa del hablante

para expresarla de un modo adecuado en la lengua de llegada.


31/63


31

Contrariamente a la traduccin automtica de textos escritos, la traduccindel habla no ha llegado an al mundo comercial. Existen, sin embargo,prototipos que se centran en dominios restringidos como la informacin

turstica, la informacin sobre vuelos, las reservas de hoteles o elestablecimiento de una cita con otra persona11.

Reproducir automticamente el proceso de la traduccin, en su vertienteescrita y oral es, pues, por lo que acabamos de exponer, un reto tanto para lainformtica como para la lingstica. El hecho de que los mejores resultados seobtengan en dominios muy especficos constituye un claro indicador de que losprincipales problemas se encuentran en el tratamiento de los aspectossemnticos y pragmticos, as como en la formalizacin, como indicbamos, deese conocimiento del mundo implicado en la comprensin de cualquier texto.

La tarea del lingista en un equipo dedicado a la traduccin automtica secentra en el contenido de los mdulos del sistema que realizan el anlisis deltexto de entrada y en el desarrollo de los lxicos (vase el apartado 4.2) y de lasgramticas de anlisis y de generacin (4.3). Por tanto, la morfologa, lalexicologa, la sintaxis, la semntica y la pragmtica encuentran su lugar en latraduccin automtica de la lengua escrita, as como el anlisis de laconversacin lo halla en el de la traduccin del habla. Al igual que en otrastecnologas, tambin es esencial la participacin de un lingista en la evaluacinde los resultados del sistema, en este caso, en colaboracin con traductores

profesionales.3.2.4. Recuperacin y extraccin de informacin

La expansin de Internet y el crecimiento de la informacin acumulada enla web, por una parte, y la digitalizacin cada vez ms habitual de grandesfondos documentales que se almacenan en intranets corporativas, por otra, hancreado la necesidad de disponer de un acceso automtico a los datosalmacenados, puesto que su volumen hace imposible una bsqueda manual. Lastcnicas de recuperacin y de extraccin de informacin, algunas de las cualesincorporan elementos tomados del procesamiento del lenguaje natural,constituyen una respuesta a este problema y, por tal motivo, son unas de lasreas que ms atencin reciben en estos momentos en el mbito que estamostratando.

La recuperacin de informacin (RI o IR, Information Retrieval) consisteen seleccionar, en un conjunto de documentos, aquellos que contienen la

11Desde las pginas del Grupo de Reconocimiento de Formas y Tecnologas para el LenguajeHumano del Instituto Tecnolgico de Informtica de la Universidad Politcnica de Valencia

puede accederse a una demostracin de sistemas de traduccin automtica del habla delespaol al ingls y del cataln al espaol.


32/63


32

informacin que un usuario solicita mediante una consulta (Gonzalo y Verdejo,2001; Martnez y Garca, 2002; Spark-Jones, 1999; Verdejo et al., 1999). Unejemplo claro de recuperacin de informacin se encuentra en los buscadores

ms conocidos de la web, como Altavista o Yahoo, que proporcionan un listadode pginas potencialmente relevantes en funcin de las palabras utilizadas en labsqueda12.

Si bien la recuperacin de informacin ha sido un campo tradicionalmentealejado del procesamiento del lenguaje natural, algunas empresas dedicadas adesarrollar sistemas de bsqueda emplean ya en sus productos comercialestcnicas y herramientas como las mencionadas en los apartados anteriores, y esprevisible que su uso se incremente en el futuro (Molano, 2002; Vossen, 2001).Los lematizadores y los analizadores morfolgicos hacen posible, como

sealbamos en el apartado 3.1.2, encontrar palabras que contengan unadeterminada raz y no nicamente las que corresponden a la forma exacta que seha introducido en la consulta. En otro orden de cosas, el uso de redes semnticasal estilo de WordNet (vase 4.2) facilita la localizacin de palabras quemantengan una relacin semntica con la que se ha empleado en la bsqueda, demodo que, por ejemplo, una consulta con la palabra coche podra dar tambincomo resultado documentos que contengan automvil; WordNet es, por otraparte, un recurso que puede contribuir a deshacer la ambigedad lxica en tareasde recuperacin de informacin, precisando el significado de una palabra

ambigua de modo que no aparezcan documentos en los que la palabra no tieneel sentido que inicialmente deseaba el usuario (Urea, 2002).

Se reconoce tambin en la actualidad que la introduccin de las tcnicas deprocesamiento del lenguaje natural en el campo de la recuperacin deinformacin viene determinada, sobre todo, por la necesidad de tratardocumentos en ms de una lengua. En la recuperacin de informacinmultilinge (CLIR, Cross-Language Information Retrieval) se pretende que elusuario llegue a encontrar los documentos que sean relevantes conindependencia de la lengua en la que estn escritos y de la lengua en la que haya

realizado su consulta.Los recursos desarrollados para la traduccin automtica, como los lxicos

y los corpus bilinges, y herramientas como los analizadores morfolgicos ysintcticos tienen una funcin muy relevante en este contexto, ya que no parece

12En las pginas de los proyectos ITEM (Recuperacin de Informacin Textual en unEntorno Multilinge con Tcnicas de Lenguaje Natural) y HERMES (HemerotecasMultilinges: Recuperacin Multilinge y Extraccin Semntica) se encuentran

demostraciones de sistemas de recuperacin de informacin en espaol y en entornosmultilinges.


33/63


33

factible abordar una tarea de recuperacin de informacin multilinge sin teneren cuenta los aspectos lxicos, sintcticos y semnticos que en ella estnimplicados (Gonzalo y Verdejo, 2001).

La digitalizacin de los archivos de los medios de comunicacin orales haplanteado tambin el problema de recuperar la informacin recogida engrabaciones que no es f

Documents

Llisterri,Joaquim-Lingüística y tecnologias del lenguaje (2003)