Sistema híbrido y cooperativo de traducción automática

euskararako Lankidetzan oinarritutako euskararako Lankidetzan oinarritutako Itzultzaile HibridoaItzultzaile Hibridoa

Sistema híbrido y cooperativo Sistema híbrido y cooperativo de traducción al euskerade traducción al euskera

euLIHeuLIH

euLIH euLIH

Guión Guión

¿Quiénes somos?¿Quiénes somos?– Origen y antecedentesOrigen y antecedentes– Áreas de especialidadÁreas de especialidad– Contacto con la traducción automáticaContacto con la traducción automática

Visión de la Visión de la traducción automáticatraducción automática– Hibridación de estrategiasHibridación de estrategias– Relevancia del corpus de traduccionesRelevancia del corpus de traducciones

Presentación de Presentación de euLIHeuLIH

euLIH euLIH

Arquitectura deArquitectura de euLIHeuLIHSistema híbrido y cooperativo Sistema híbrido y cooperativo

de traducción al euskerade traducción al euskera

Traductor reglas 1

Corpus A

Corpus B

Corpus C

Marco d

e agreg

ación y valid

ación d

e metcon

tenid

osan

otados e in

dexad

os

Corpus% Dicc. & Term. A

Dicc. & Term. B

Dicc. & Term. D

ReglasDicc. & Term. 2


Agregador

OAI-PMH

OLACTraductor híbrido 2

euLIH euLIH

Arquitectura deArquitectura de euLIHeuLIHMarco de agregación y validación de Marco de agregación y validación de

metacontenidos anotados e indexadosmetacontenidos anotados e indexados

Traductor reglas 1

Corpus%



Traductor híbrido 2

Corpus A

Corpus B

Corpus C

Marco d

e agreg

ación y valid

ación d

e metcon

tenid

osan

otados e in

dexad

os

Dicc. & Term. A

Dicc. & Term. B

Dicc. & Term. D

Agregador

OAI-PMH

OLAC

euLIH euLIH

Módulos deMódulos de euLIHeuLIH

Marco de Marco de agregación metacontenidos agregación metacontenidos (1-10)(1-10)– Agregador OAI-PMH (1-6)Agregador OAI-PMH (1-6)– Motor de indexación bilingüe (1-9)Motor de indexación bilingüe (1-9)– Protocolo de validación (5-10)Protocolo de validación (5-10)

Integración Integración de motores de traducciónde motores de traducción (9-19)(9-19)– API para memorias de traducción API para memorias de traducción (9-12)(9-12)

– API para traductor por reglas (11-14)API para traductor por reglas (11-14)– Prototipo de traductor estadístico (11-19)Prototipo de traductor estadístico (11-19)– Módulo de retroalimentación Módulo de retroalimentación (13-19)(13-19)

Interacción y acceso Interacción y acceso – API para personalización de interfacesAPI para personalización de interfaces (5-19) (5-19)

– API para servicios de traducción API para servicios de traducción (13-19(13-19))

euLIH euLIH

Cronología del proyectoCronología del proyecto euLIHeuLIH

T10

T9

T8

T7

T6

T5

T4

T3

T2

T1

Cronograma de euLIH

euLIH euLIH

Guión Guión




euLIH euLIH

Origen y antecedentes de ETOrigen y antecedentes de ET

enero 2005enero 2005: DELi decide : DELi decide crear crear spin-offspin-off, plan de , plan de empresaempresa

julio 2005julio 2005: Plan estratégico y : Plan estratégico y presentación a DFB y GVpresentación a DFB y GV

enero 2006enero 2006: Programa Intek : Programa Intek de GV: proyecto CollOnBusde GV: proyecto CollOnBus

julio 2006julio 2006: Alianza con : Alianza con Thera-ClicThera-Clic

enero 2007enero 2007: : Thera-ClicThera-Clic 25% 25%

euLIH euLIH

Áreas de especialidadÁreas de especialidad

Estándares de interoperabilidad semánticaEstándares de interoperabilidad semántica– Metadatos XML sectoriales: TEI, TMX, DCMI, Metadatos XML sectoriales: TEI, TMX, DCMI,

XBRL, HL7, OPC DAXBRL, HL7, OPC DA– Agregación y sindicación: OAI-PMH, OLAC, RSS, Agregación y sindicación: OAI-PMH, OLAC, RSS,

AtomAtom

Gestión de contenidos multilingües:Gestión de contenidos multilingües:– procesamiento lingüístico, indexación textual, compilación procesamiento lingüístico, indexación textual, compilación

y anotación de corpus, traducción automática y asistiday anotación de corpus, traducción automática y asistida

Categorización de recursos:Categorización de recursos:– Taxonomías, folcsonomías y ontologíasTaxonomías, folcsonomías y ontologías

euLIH euLIH

Antecedentes:Antecedentes:Grupo DELi, proyectosGrupo DELi, proyectos

-- SemB-UDDISemB-UDDI: Semantic UDDI registry of Basque high-tech : Semantic UDDI registry of Basque high-tech companies (2005-2006).companies (2005-2006).

-- OAC-ontoOAC-onto: Open Archive Cataloger: Ontologías y metadatos : Open Archive Cataloger: Ontologías y metadatos (2004-2005).(2004-2005).

-- XemGridXemGrid: Mejora en el descubrimiento de servicios grid : Mejora en el descubrimiento de servicios grid utilizando información semántica (2004-2005).utilizando información semántica (2004-2005).

-- RómuloRómulo. Edición digital plurilingüe de un texto europeo del . Edición digital plurilingüe de un texto europeo del siglo XVII (2003-2005). siglo XVII (2003-2005).

-- X-FlowX-Flow: Gestión de flujo de contenidos multilingües sobre : Gestión de flujo de contenidos multilingües sobre XLIFF y TMX (2002-2003). XLIFF y TMX (2002-2003).

-- XML-BiXML-Bi: Procedimientos para la gestión del flujo documental : Procedimientos para la gestión del flujo documental multilingüe sobre XML/TEI-P3 (2001-2002). multilingüe sobre XML/TEI-P3 (2001-2002).

-- XTRA-BiXTRA-Bi: Extracción automática de unidades bitextuales para : Extracción automática de unidades bitextuales para memorias de traducción (2000-2001).memorias de traducción (2000-2001).

euLIH euLIH

Antecedentes:Antecedentes:Thera-CLiCThera-CLiC

euLIH euLIH

Experiencia con la TAExperiencia con la TA

1984-871984-87 UMIST: CCL UMIST: CCL– Ntran (Alvey), EUROTRA (CE)Ntran (Alvey), EUROTRA (CE)

1988-911988-91 Fujitsu Labs Fujitsu Labs– ATLAS, LlullATLAS, Llull– EUROTRA, METALEUROTRA, METAL

1992-981992-98 UD: Master en Traducción UD: Master en Traducción– Consultor, evaluador (vg. Metalingua)Consultor, evaluador (vg. Metalingua)– TMM, Transit, DVXTMM, Transit, DVX– LegebidunaLegebiduna

1998-071998-07 DELi DELi– Xtrabi, Xflow, SareBi, OAC-onto, SemB-Xtrabi, Xflow, SareBi, OAC-onto, SemB-

UDDI, SemTekUDDI, SemTek 2002, 20042002, 2004 AutomaticTrans: AutomaticTrans: ATSATS

euLIH euLIH

Guión Guión




euLIH euLIH

VisiónVisión de la de la traducción automáticatraducción automática

Estrategia Estrategia híbridahíbrida::– Reglas transferencia léxica y sintácticaReglas transferencia léxica y sintáctica– CorpusCorpus de traducciones (memoria de traducción de traducciones (memoria de traducción

y estadística)y estadística)

Flujo de trabajoFlujo de trabajo– Definición deDefinición de

UsuarioUsuario ServicioServicio

– Integración en entorno de publicaciónIntegración en entorno de publicación

Evaluación: Evaluación: – FEMTIFEMTI, BLEU, METEOR, ROUGE, QARLA, BLEU, METEOR, ROUGE, QARLA

euLIH euLIH

VisiónVisión de la de la traducción automática:traducción automática:

FEMTIFEMTIFramework for the Evaluation of Framework for the Evaluation of

Machine Translation in ISLE (2002)Machine Translation in ISLE (2002)– Propósito de la traducciónPropósito de la traducción

Asimilación, diseminación, comunicaciónAsimilación, diseminación, comunicación

– Características de usuarioCaracterísticas de usuario Competencia del usuarioCompetencia del usuario Frecuencia: ocasional, profesional, instituciónFrecuencia: ocasional, profesional, institución

– Características del Características del input input (autor y texto)(autor y texto) Tipo de documentoTipo de documento Propiedades del autorPropiedades del autor Fuentes de errorFuentes de error

http://www.isi.edu/natural-language/mteval/http://www.isi.edu/natural-language/mteval/

http://www.isi.edu/natural-language/mteval/

euLIH euLIH

PropósitoPropósito de la de la traducción automática:traducción automática:

FEMTIFEMTI AsimilaciónAsimilación: : Facilitar el acceso a información Facilitar el acceso a información

relevante en otro idioma. relevante en otro idioma. – Tiene más sentido de euskera a españolTiene más sentido de euskera a español

DiseminaciónDiseminación: : Permitir la rápida distribución de Permitir la rápida distribución de materiales en varios idiomas.materiales en varios idiomas. – No se requiere una calidad máxima, porque pueden ser No se requiere una calidad máxima, porque pueden ser

materiales de trabajo y en borradormateriales de trabajo y en borrador

ComunicaciónComunicación: : Información que se va a publicar Información que se va a publicar y que debe responder a los máximos niveles de y que debe responder a los máximos niveles de calidad. calidad. – Si se utiliza la traducción automática hará falta revisión Si se utiliza la traducción automática hará falta revisión

(postedición)(postedición)



euLIH euLIH


FEMTIFEMTICaracterísticas de usuarioCaracterísticas de usuario

– ¿A quién va dirigido el traductor?¿A quién va dirigido el traductor? Usuario ocasionalUsuario ocasional

– ¿quiere leer prensa española en euskera?¿quiere leer prensa española en euskera?– ¿quiere publicar en euskera?¿quiere publicar en euskera?

Usuario profesional, Usuario profesional, traductortraductor– quiere incrementar su rendimientoquiere incrementar su rendimiento

Usuario institucional, Usuario institucional, agencia, empresaagencia, empresa– quiere aumentar la producciónquiere aumentar la producción– quiere normalizar criterios (terminología, estilo, quiere normalizar criterios (terminología, estilo,

etc.)etc.)– quiere garantizar calidadquiere garantizar calidad– quiere ahorrar costesquiere ahorrar costes



euLIH euLIH


euLIHeuLIHCaracterísticas de usuarioCaracterísticas de usuario

Usuario ocasionalUsuario ocasional– quiere publicar en euskeraquiere publicar en euskera

Usuario profesional, Usuario profesional, traductortraductor– quiere incrementar su rendimientoquiere incrementar su rendimiento

Usuario institucional, Usuario institucional, agencia, empresaagencia, empresa– quiere aumentar la producciónquiere aumentar la producción– quiere normalizar criterios (terminología, estilo, quiere normalizar criterios (terminología, estilo,

etc.)etc.)– quiere garantizar calidadquiere garantizar calidad– quiere ahorrar costesquiere ahorrar costes

En todos los casos con el propósito de En todos los casos con el propósito de comunicarcomunicar: : se requiere calidadse requiere calidad

euLIH euLIH

VisiónVisión de la de la traducción automáticatraducción automática

TechoTecho de la TA basada en reglas de la TA basada en reglas– Más reglas no (siempre) mejoran el Más reglas no (siempre) mejoran el

resultadoresultado– Systran, Reverso (ProMT) muestran la Systran, Reverso (ProMT) muestran la

“calidad” posible para textos genéricos“calidad” posible para textos genéricos– Factores:Factores:

Distancia lingüísticaDistancia lingüística Límites de la gramática (sintaxis)Límites de la gramática (sintaxis)

– Relevancia del corpus: modelos (Relevancia del corpus: modelos (ejemplos), ejemplos), fraseología, terminología, memoria de traducción, fraseología, terminología, memoria de traducción, entrenamiento estadísticaentrenamiento estadística

euLIH euLIH

El techo de la TA basada en reglas: El techo de la TA basada en reglas: SystranSystran

La travesía de Tom tiene una nueva concesión de Australia a La travesía de Tom tiene una nueva concesión de Australia a agregar a su colección para ser la celebridad más sexista. agregar a su colección para ser la celebridad más sexista.

Cerca de 400 de las mujeres más de gran alcance de Australia Cerca de 400 de las mujeres más de gran alcance de Australia recolectaron a parlamento último jueves del estado de Nuevo recolectaron a parlamento último jueves del estado de Nuevo Gales del Sur para decidir sobre los ganadores del 14 “Ernie anual Gales del Sur para decidir sobre los ganadores del 14 “Ernie anual concede” que se reparten para las declaraciones públicas concede” que se reparten para las declaraciones públicas despectivas peores. despectivas peores.

Las concesiones fueron nombradas después de un líder del Las concesiones fueron nombradas después de un líder del sindicato llamado Ernie que miembros de unión incluyeron los sindicato llamado Ernie que miembros de unión incluyeron los esquiladores de las ovejas. Él una vez famoso dijo: “Las mujeres esquiladores de las ovejas. Él una vez famoso dijo: “Las mujeres no son agradables en las vertientes que esquilan. Están solamente no son agradables en las vertientes que esquilan. Están solamente después del sexo.” después del sexo.”

El “Ernies” tiene un sabor internacional - y la travesía fue El “Ernies” tiene un sabor internacional - y la travesía fue concedida la celebridad 2006 Ernie.concedida la celebridad 2006 Ernie.

euLIH euLIH


Tom Cruise tiene un nuevo premio australiano que añadir a su Tom Cruise tiene un nuevo premio australiano que añadir a su colección por ser el famoso más machista. colección por ser el famoso más machista.

Unas cuatrocientas de las mujeres más poderosas de Australia se Unas cuatrocientas de las mujeres más poderosas de Australia se reunieron en el Parlamento Estatal de Nueva Gales del Sur el reunieron en el Parlamento Estatal de Nueva Gales del Sur el pasado jueves a última hora para decidir los ganadores de la 14º pasado jueves a última hora para decidir los ganadores de la 14º edición anual de los ‘premios Ernie’, que se entregan a las edición anual de los ‘premios Ernie’, que se entregan a las declaraciones públicas más despectivas. declaraciones públicas más despectivas.

Los premios reciben el nombre de un líder sindicalista llamado Los premios reciben el nombre de un líder sindicalista llamado Ernie que incluía a esquiladores en el sindicato. Éste dijo una vez: Ernie que incluía a esquiladores en el sindicato. Éste dijo una vez: “Las mujeres no son bienvenidas en los cobertizos para esquilar. “Las mujeres no son bienvenidas en los cobertizos para esquilar. Sólo vienen para el sexo.” Sólo vienen para el sexo.”

Los “Ernies” tienen un toque internacional y a Cruise le Los “Ernies” tienen un toque internacional y a Cruise le concedieron el Ernie 2006 de los famosos.concedieron el Ernie 2006 de los famosos.

(Traducción de alumnas de 3º de filología inglesa)(Traducción de alumnas de 3º de filología inglesa)

euLIH euLIH


La travesía deLa travesía de Tom tiene una nueva Tom tiene una nueva concesiónconcesión de Australia a de Australia a agregar a su colección agregar a su colección para para ser la celebridad más ser la celebridad más sexistasexista..

Tom Cruise tiene un nuevo premio australiano que añadir a su Tom Cruise tiene un nuevo premio australiano que añadir a su colección por ser el famoso más machista.colección por ser el famoso más machista.

Cerca de 400 de las mujeres más Cerca de 400 de las mujeres más de gran alcancede gran alcance de Australia de Australia recolectaron a parlamentorecolectaron a parlamento último jueves del estado de Nuevo último jueves del estado de Nuevo Gales del Sur para decidir sobre los ganadores del 14 “Ernie Gales del Sur para decidir sobre los ganadores del 14 “Ernie anual anual concedeconcede” que se reparten para las declaraciones públicas ” que se reparten para las declaraciones públicas despectivas despectivas peorespeores..

Unas cuatrocientas de las mujeres más poderosas de Australia se Unas cuatrocientas de las mujeres más poderosas de Australia se reunieron en el Parlamento Estatal de Nueva Gales del Sur el reunieron en el Parlamento Estatal de Nueva Gales del Sur el pasado jueves a última hora para decidir los ganadores de la 14º pasado jueves a última hora para decidir los ganadores de la 14º edición anual de los ‘premios Ernie’, que se entregan a las edición anual de los ‘premios Ernie’, que se entregan a las declaraciones públicas más despectivas.declaraciones públicas más despectivas.

euLIH euLIH

El techo de la TA basada en reglas: El techo de la TA basada en reglas: RazonesRazones

ArnoldArnold y otros (1993) destacan las tres y otros (1993) destacan las tres dificultades siguientes: dificultades siguientes: – La ambigüedad (polisemia): La ambigüedad (polisemia): “activo” “activo” gogotsu, langile, gogotsu, langile,

eraginkor, aktiboeraginkor, aktibo – Los desajustes léxicos y estructurales:Los desajustes léxicos y estructurales:

Elementos patrimoniales activos y pasivosElementos patrimoniales activos y pasivos Ondare elementu aktibo eta pasiboOndare elementu aktibo eta pasibo Ondarezko osagai pasibo eta gogotsuOndarezko osagai pasibo eta gogotsu

– Las unidades pluriverbales (colocaciones, Las unidades pluriverbales (colocaciones, modismos, onomástica, terminología):modismos, onomástica, terminología): Es decir: Es decir: Hau da, *Esate daHau da, *Esate da Está reunidoEstá reunido: Bilera batean dago, *Bilduta dago: Bilera batean dago, *Bilduta dago

euLIH euLIH


Léxicos: Léxicos: los que pueden resolverse los que pueden resolverse mediante diccionariomediante diccionario

Sintácticos: Sintácticos: los que deberían poder los que deberían poder resolverse a golpe de regla gramaticalresolverse a golpe de regla gramatical

Estructurales: Estructurales: los que siendo de índole los que siendo de índole sintáctica, plantean dificultades a las reglas sintáctica, plantean dificultades a las reglas y se resuelven mejor mediante memoria de y se resuelven mejor mediante memoria de traduccióntraducción

Estilísticos: Estilísticos: para los que el único remedio para los que el único remedio es una buena memoria de traducciónes una buena memoria de traducción

euLIH euLIH


Estructuras sintácticas complicadas:Estructuras sintácticas complicadas: Predicados complejos, estructuras de controlPredicados complejos, estructuras de control

– es capaz de funcionar bienes capaz de funcionar bien AposicionesAposiciones

– actuaciones, generales o selectivas, de obtención de informaciónactuaciones, generales o selectivas, de obtención de información SubordinadasSubordinadas (relativas, completivas) (relativas, completivas)

– los elementos patrimoniales activos y pasivos de una parte de una los elementos patrimoniales activos y pasivos de una parte de una sociedad que constituyen, desde el punto de vista de la sociedad que constituyen, desde el punto de vista de la organización, una explotación autónomaorganización, una explotación autónoma

CoordinaciónCoordinación– La naturaleza o clase y número de cuenta u operación, así como el La naturaleza o clase y número de cuenta u operación, así como el

saldo o importe máximo saldo o importe máximo ComparativasComparativas

– había algo que desagradaba a los Dursley aún más que las había algo que desagradaba a los Dursley aún más que las preguntas que Harry hacíapreguntas que Harry hacía

euLIH euLIH


¿A partir de qué momento las estructuras ¿A partir de qué momento las estructuras sintácticas complicadas se convierten en sintácticas complicadas se convierten en problemas estructuralesproblemas estructurales??

– La La longitudlongitud tiene mucho que ver. Oraciones de tiene mucho que ver. Oraciones de más de 15 palabrasmás de 15 palabras normalmente distorsionan normalmente distorsionan gravemente la aplicación de las reglasgravemente la aplicación de las reglas

– La La combinación de problemas sintácticoscombinación de problemas sintácticos: : subordinación, aposición, coordinación...subordinación, aposición, coordinación...

euLIH euLIH


Se entenderá por rama de actividad económica el conjunto de Se entenderá por rama de actividad económica el conjunto de los elementos patrimoniales activos y pasivos de una parte de los elementos patrimoniales activos y pasivos de una parte de una sociedad que constituyen, desde el punto de vista de la una sociedad que constituyen, desde el punto de vista de la organización, una explotación autónoma, es decir, un organización, una explotación autónoma, es decir, un conjunto capaz de funcionar por sus propios medios. conjunto capaz de funcionar por sus propios medios. – Jarduera ekonomikoaren arlotzat zera hartuko da: antolaketa aldetik bere Jarduera ekonomikoaren arlotzat zera hartuko da: antolaketa aldetik bere

gaineko ustiategi bat, hau da, bere bitartekoez funtzionatzeko gauza den gaineko ustiategi bat, hau da, bere bitartekoez funtzionatzeko gauza den batasun bat osatzen duten sbatasun bat osatzen duten sozietate zati baten ondare elementu aktibo ozietate zati baten ondare elementu aktibo eta pasiboen eta pasiboen multzoa multzoa

– Jarduera-adartzat joko da, antolaketari begira, ustiapen ekonomikoa Jarduera-adartzat joko da, antolaketari begira, ustiapen ekonomikoa ekarriko duen autonomiadun unitate ekonomikoa osatuko duen ondare-ekarriko duen autonomiadun unitate ekonomikoa osatuko duen ondare-multzoa, hau da, beren baliabide propioen bidez jarduteko gai izango den multzoa, hau da, beren baliabide propioen bidez jarduteko gai izango den multzoa. Eskualdatuko diren elementuen antolaketatik edo jardunbideak multzoa. Eskualdatuko diren elementuen antolaketatik edo jardunbideak eratorritako zorrak eratxiki ahal izango zaizkio sozietate eskuratzaileari.eratorritako zorrak eratxiki ahal izango zaizkio sozietate eskuratzaileari.

– * Jarduera ekonomikoaren adarretik ulertuko du ondarezko osagai pasibo * Jarduera ekonomikoaren adarretik ulertuko du ondarezko osagai pasibo eta gogotsuen multzoa bat gizarte bateko batzuk osatzen duten, eta gogotsuen multzoa bat gizarte bateko batzuk osatzen duten, erakundearen ikusmenaren puntutik, ustiapen autonomo bat, esate da, erakundearen ikusmenaren puntutik, ustiapen autonomo bat, esate da, funtzionatze haren neure erdi multzo handi bat.funtzionatze haren neure erdi multzo handi bat.

euLIH euLIH


A excepción de en La Rioja, donde todos los albergues excepto A excepción de en La Rioja, donde todos los albergues excepto uno (Grañón) cuentan con un espacio para guardar bicicletas, uno (Grañón) cuentan con un espacio para guardar bicicletas, el peregrino se ve obligado a conocer de antemano, entre el peregrino se ve obligado a conocer de antemano, entre Roncesvalles y Santiago, los lugares concretos que ofrecen Roncesvalles y Santiago, los lugares concretos que ofrecen este servicio: el 80% de los de León, Burgos, Navarra y este servicio: el 80% de los de León, Burgos, Navarra y Palencia, mientras que en A Coruña sólo se pueden guardar Palencia, mientras que en A Coruña sólo se pueden guardar bicis en la mitad de los centros. bicis en la mitad de los centros.

– Errioxan izan ezik -Grañon-go aterpetxeak izan ezean beste guztiek Errioxan izan ezik -Grañon-go aterpetxeak izan ezean beste guztiek eskaintzen dute probintzia horretan bizikletak gordetzeko toki egokia eskaintzen dute probintzia horretan bizikletak gordetzeko toki egokia -Orreagan hasi eta Santiagoraino zerbitzu hori zein aterpetxek eskaintzen -Orreagan hasi eta Santiagoraino zerbitzu hori zein aterpetxek eskaintzen duen jakin behar du, nahitaez, erromesak aldez aurretik: Leon, Burgos, duen jakin behar du, nahitaez, erromesak aldez aurretik: Leon, Burgos, Nafarroa eta Palentziakoen %80etan, hain zuzen Nafarroa eta Palentziakoen %80etan, hain zuzen

euLIH euLIH

Guión Guión




euLIH euLIH

Traductor basado en reglasTraductor basado en reglas

ReglasDicc. & Term.

Traductor reglas

euLIH euLIH

Traductor basado en reglasTraductor basado en reglas

Traductor reglas

ReglasDicc. & Term.

euLIH euLIH

Sistemas híbridosSistemas híbridos: : reglas + corpus (+ %)reglas + corpus (+ %)

Corpus%



Traductor reglas 1


euLIH euLIH

Arquitectura deArquitectura de euLIHeuLIHalimentado dinámicamente alimentado dinámicamente desde unadesde una

red red dede recursos distribuidos recursos distribuidos

Traductor reglas 1

Corpus A

Corpus B

Corpus C

Dicc. & Term. A

Dicc. & Term. B

Dicc. & Term. D


Corpus%

Corpus%

Corpus%





euLIH euLIH

Arquitectura deArquitectura de euLIHeuLIHRecolector y agregador de metacontenidosRecolector y agregador de metacontenidos

Traductor reglas 1

Corpus A

Corpus B

Corpus C

Dicc. & Term. A

Dicc. & Term. B

Dicc. & Term. D



Agregador

OAI-PMH

OLAC

Corpus%



euLIH euLIH

Arquitectura deArquitectura de euLIHeuLIHMarco de agregación y validación de Marco de agregación y validación de

metacontenidos anotados e indexadosmetacontenidos anotados e indexados

Traductor reglas 1

Corpus A

Corpus B

Corpus C


Dicc. & Term. B

Dicc. & Term. D



Agregador

OAI-PMH

OLAC

Marco d

e agreg

ación y valid

ación d

e metcon

tenid

osan

otados e in

dexad

osTraductor híbrido 2

euLIH euLIH



Traductor reglas 1

Corpus A

Corpus B

Corpus C

Marco d

e agreg

ación y valid

ación d

e metcon

tenid

osan

otados e in

dexad

os


Dicc. & Term. B

Dicc. & Term. D



Agregador

OAI-PMH


euLIH euLIH


Marco de Marco de agregación metacontenidosagregación metacontenidos– Agregador OAI-PMH Agregador OAI-PMH – Motor de indexación bilingüe Motor de indexación bilingüe – Protocolo de validaciónProtocolo de validación

Integración de motores de traducción Integración de motores de traducción – API para memorias de traducción API para memorias de traducción – API para traductor por reglas API para traductor por reglas – Prototipo de traductor estadístico Prototipo de traductor estadístico – Módulo de retroalimentaciónMódulo de retroalimentación

Interacción y acceso Interacción y acceso – API para personalización de interfacesAPI para personalización de interfaces– API para servicios de traducción API para servicios de traducción

euLIH euLIH

Arquitectura deArquitectura de euLIHeuLIHMarco de agregación metacontenidosMarco de agregación metacontenidos

Traductor reglas 1

Corpus%




Corpus A

Corpus B

Corpus C

Marco d

e agreg

ación y valid

ación d

e metcon

tenid

osan

otados e in

dexad

os

Dicc. & Term. A

Dicc. & Term. B

Dicc. & Term. D

Agregador

OAI-PMH

OLAC

euLIH euLIH

Módulos deMódulos de euLIHeuLIHMarco de agregación de metacontenidosMarco de agregación de metacontenidos

Contenidos distribuidosContenidos distribuidos Anotados (en origen o Anotados (en origen o

en depósito)en depósito) Protocolo de recolección Protocolo de recolección

OAI-PMHOAI-PMH Indexación de Indexación de

contenidoscontenidos Procesamiento Procesamiento

lingüístico de lingüístico de contenidoscontenidos

Depósito de Depósito de metacontenidosmetacontenidos

Corpus A

Corpus B

Corpus C

Marco d

e agreg

ación y valid

ación d

e metcon

tenid

osan

otados e in

dexad

os

Dicc. & Term. A

Dicc. & Term. B

Dicc. & Term. D

Agregador

OAI-PMH

OLAC

euLIH euLIH

euLIHeuLIHAgregación de metacontenidosAgregación de metacontenidos

MetacontenidosMetacontenidos: contenidos : contenidos indexadosindexados y y etiquetadosetiquetados– IndexadosIndexados: contenidos recopilados, : contenidos recopilados,

procesados (procesados (parsedparsed) y almacenados) y almacenados– EtiquetadosEtiquetados: anotados con metadatos : anotados con metadatos

(CES, LAF, TMX, DCMI):(CES, LAF, TMX, DCMI): Language Resources Management TCLanguage Resources Management TC

ISO/TC 37/SC 4ISO/TC 37/SC 4

Open Language Archives Community (OLAC)Open Language Archives Community (OLAC)

euLIH euLIH

euLIHeuLIHMetadatos Metadatos Dublin CoreDublin Core

15 elementos

básicos

euLIH euLIH

euLIHeuLIHMetadatos Metadatos Dublin CoreDublin Core

Obligatorios•identifier•languages

Recomendados•date

•dateSubmitted•dateAccepted•modified•available

•source

•subject

•conformsTo

(un estándar de calidad, vg. validado por IVAP, UZEI, etc.)

•audience

(general public, EHU, BFA, etc.)

Complementarios•publisher•title•creator•contributor (traductor)•type•rights

Otros

•hasVersion

•isPartOf

•isReplacedBy

euLIH euLIH

euLIHeuLIHProtocolo de recolecciónProtocolo de recolección OAI-PMH OAI-PMH

¿Quién usa OAI-PMH?¿Quién usa OAI-PMH?– BibliotecasBibliotecas: : The European Library, National The European Library, National

Library of Australia (NLA), Library of CongressLibrary of Australia (NLA), Library of Congress

– Redes de bibliotecasRedes de bibliotecas: : Digital Library Digital Library Federation (DLF), National Sciene Digital Library Federation (DLF), National Sciene Digital Library (NSDL), Red de Bibliotecas Universitarias (NSDL), Red de Bibliotecas Universitarias Españolas (REBIUM)Españolas (REBIUM)

– Servicios bibliográficosServicios bibliográficos: : ArXiv, ePrintsArXiv, ePrints, , Scientific Literature Digital Library (CiteSeer), Scientific Literature Digital Library (CiteSeer), Internet Archive, Google:Scholar, OCLC Theses Internet Archive, Google:Scholar, OCLC Theses and Dissertationsand Dissertations

euLIH euLIH

euLIHeuLIHProtocolo de recolecciónProtocolo de recolección OAI-PMH OAI-PMH

¿Quién promueve OLAC?¿Quién promueve OLAC?– Open Language Archives CommunityOpen Language Archives Community– Linguistic Data Consortium (LDC), University of Linguistic Data Consortium (LDC), University of

PennsylvaniaPennsylvania– European Language Resources Association (ELRA)European Language Resources Association (ELRA)– European Network of Excellence in Human European Network of Excellence in Human

Language Technologies (ELSNET)Language Technologies (ELSNET)– Foundation for Endangered LanguagesFoundation for Endangered Languages– The LINGUIST List, Oxford Text ArchiveThe LINGUIST List, Oxford Text Archive– SIL International, etc.SIL International, etc.

euLIH euLIH

Módulos deMódulos de euLIHeuLIHMotor de indexación bilingüeMotor de indexación bilingüe

Procesamiento Procesamiento lingüístico lingüístico – LematizaciónLematización– Reconocimiento de Reconocimiento de

entidades entidades onomásticasonomásticas

– Detección de Detección de unidades unidades pluriverbalespluriverbales

– DesambiguaciónDesambiguaciónM

arco de ag

regación

y validación

de m

etconten

idos

anotad

os e ind

exados

Corpus

motor de indexación

euLIH euLIH

Módulos deMódulos de euLIHeuLIHProtocolo de Protocolo de validaciónvalidación

Distintos Distintos rangosrangos ( (rolesroles) ) entre agentes cooperantesentre agentes cooperantes

Agentes institucionales Agentes institucionales tiene tiene rangorango “ “autoridadautoridad””

Los segmentos Los segmentos autorizados autorizados están están certificadoscertificados

Los usuarios no Los usuarios no institucionales son institucionales son cooperantes que, de cooperantes que, de partida, no pueden partida, no pueden certificarcertificar sus traduccionessus traducciones

euLIH no acreditará rangos, euLIH no acreditará rangos, pero aportará la pero aportará la funcionalidad para que otros funcionalidad para que otros lo haganlo hagan

Corpus A

Corpus B

Corpus C

Marco d

e agreg

ación y valid

ación d

e metcon

tenid

osan

otados e in

dexad

os

Dicc. & Term. A

Dicc. & Term. B

Dicc. & Term. D

Agregador

OAI-PMH

OLAC

euLIH euLIH


Marco de Marco de agregación metacontenidosagregación metacontenidos– Agregador OAI-PMH Agregador OAI-PMH – Motor de indexación bilingüe Motor de indexación bilingüe – Protocolo de validación Protocolo de validación



euLIH euLIH



Traductor reglas 1

Corpus A

Corpus B

Corpus C

Marco d

e agreg

ación y valid

ación d

e metcon

tenid

osan

otados e in

dexad

os


Dicc. & Term. B

Dicc. & Term. D



Agregador

OAI-PMH


euLIH euLIH

Módulos deMódulos de euLIHeuLIH Integración de motores de traducciónIntegración de motores de traducción

API para memorias de traducciónAPI para memorias de traducción– Conexión con redes de memorias de traducciónConexión con redes de memorias de traducción– Funcionalidad de memoria de traducciónFuncionalidad de memoria de traducción

API para traductor por reglas API para traductor por reglas – Integración de motores RBMTIntegración de motores RBMT

Prototipo de traductor estadísticoPrototipo de traductor estadístico– Experimentar con CMU, Giza++, BLEUExperimentar con CMU, Giza++, BLEU

Módulo de retroalimentaciónMódulo de retroalimentación– Detección de terminología, colocaciones, Detección de terminología, colocaciones,

unidades pluriverbales, fraseologíaunidades pluriverbales, fraseología

euLIH euLIH


Marco de Marco de agregación metacontenidosagregación metacontenidos– Agregador OAI-PMH Agregador OAI-PMH – Motor de indexación bilingüe Motor de indexación bilingüe – Protocolo de validación Protocolo de validación



euLIH euLIH



Traductor reglas 1

Corpus A

Corpus B

Corpus C

Marco d

e agreg

ación y valid

ación d

e metcon

tenid

osan

otados e in

dexad

os


Dicc. & Term. B

Dicc. & Term. D



Agregador

OAI-PMH


euLIH euLIH

Módulos deMódulos de euLIHeuLIH Interacción y accesoInteracción y acceso

API para personalización de API para personalización de interfacesinterfaces– Acceso al sistema para: consultar, Acceso al sistema para: consultar,

modificar, validar, añadir, eliminar, modificar, validar, añadir, eliminar, importar, exportar, filtrar, etc. importar, exportar, filtrar, etc.

– Perfiles de usuario, personalizaciónPerfiles de usuario, personalización API para servicios de traducciónAPI para servicios de traducción

– Integración del sistema en puestos de Integración del sistema en puestos de trabajo localestrabajo locales

euLIH euLIH

euLIHeuLIH

Demostración de prototipo:Demostración de prototipo:

http://www.deli.deusto.es/eulihhttp://www.deli.deusto.es/eulih

http://www.deli.deusto.es/eulih

euLIH euLIH

euLIHeuLIHConclusionesConclusiones

PropósitoPropósito: : producción, producción, comunicacióncomunicación

UsuarioUsuario: profesional, : profesional, institucionalinstitucional– Responder a necesidades Responder a necesidades

realesreales– Aprovechar sus recursos Aprovechar sus recursos – Recolectar, agregar, Recolectar, agregar,

validarvalidar

Modelo Modelo cooperativocooperativo (web social, (web social, crowdsourcingcrowdsourcing))

Corpus A

Corpus B

Corpus C

Marco d

e agreg

ación y valid

ación d

e metcon

tenid

osan

otados e in

dexad

os

Dicc. & Term. A

Dicc. & Term. B

Dicc. & Term. D

Agregador

OAI-PMH

OLAC

euLIH euLIH

euLIHeuLIH

Muchas graciasMuchas gracias

¿más preguntas?¿más preguntas?

euLIH euLIH

Breve historia de la traducción Breve historia de la traducción automática: 6 décadasautomática: 6 décadas

19471947 Warren Weaver, Fundación Rockefeller Warren Weaver, Fundación Rockefeller

19511951 Yehoshua Bar-Hillel, MIT; 1ª demo Yehoshua Bar-Hillel, MIT; 1ª demo

Universidad de Georgetown – IBM; DoD; Universidad de Georgetown – IBM; DoD; FAHQT; FAHQT; SystranSystran, , MetalMetal

19641964 ALPAC; ALPAC; Syntactic StructuresSyntactic Structures (1957); ALGOL, (1957); ALGOL,

LISPLISP

19761976 MÉTÉOMÉTÉO (U. Montreal), CE: (U. Montreal), CE: SystranSystran, , EurotraEurotra

19911991 Informe Danzin; Informe Danzin; CandideCandide IBM; Corpus IBM; Corpus

20052005 NIST, BLEU: Google, ISI, etc. NIST, BLEU: Google, ISI, etc.

euLIH euLIH

Evolución de la tecnologíaEvolución de la tecnología

Warren Weaver (1947)Warren Weaver (1947): : – técnicas criptográficas técnicas criptográficas – teoremas de Shannonteoremas de Shannon– utilidad de la estadística utilidad de la estadística – lógica subyacente ylógica subyacente y– propiedades universales del lenguaje propiedades universales del lenguaje

humanohumano

euLIH euLIH


Yehoshua Bar-HillelYehoshua Bar-Hillel ((19511951)): : – primer simposio de la TAprimer simposio de la TA– lenguajes controlados, sublenguajes lenguajes controlados, sublenguajes – necesidad de la sintaxisnecesidad de la sintaxis– posibilidad de prescindir de la posibilidad de prescindir de la

intervención humana (FAHQMT)intervención humana (FAHQMT)– Cuestiona FAHQMT en 1960Cuestiona FAHQMT en 1960

euLIH euLIH


1957-19911957-1991 Sistemas basados en Sistemas basados en conocimiento lingüístico:conocimiento lingüístico:– Syntactic StructuresSyntactic Structures (1957); ALGOL, LISP (1957); ALGOL, LISP– Gramáticas formales; Inteligencia artificialGramáticas formales; Inteligencia artificial– Canadá, Europa, JapónCanadá, Europa, Japón– Systran, Metal, Eurotra, RosettaSystran, Metal, Eurotra, Rosetta, etc., etc.– Transferencia sintáctica, léxicaTransferencia sintáctica, léxica– Interlingua, redes semánticas, ontologíasInterlingua, redes semánticas, ontologías

euLIH euLIH


1990-20071990-2007 Sistemas basados en Sistemas basados en corpus:corpus:– CandideCandide IBM vs IBM vs SystranSystran– TA online: TA online: Bablefish, Reverso, GoogleBablefish, Reverso, Google – IBM (TranslationManager), TRADOS IBM (TranslationManager), TRADOS

(Translator's Workbench), ATRIL (DÉJÀ-(Translator's Workbench), ATRIL (DÉJÀ-VU), etc. VU), etc.

– Evaluación de la TA: FEMTI, BLEU (SMT)Evaluación de la TA: FEMTI, BLEU (SMT)– Competiciones NIST (Competiciones NIST (0.5131 vs 0.10790.5131 vs 0.1079))– WorldServer, Multicorpora, Freeway, WorldServer, Multicorpora, Freeway,

LingotekLingotek

euLIH euLIH

El techo de los sistemas basados en El techo de los sistemas basados en reglasreglas

I danced at the ballI danced at the ball / Bailé en la bola / Bailé en la / Bailé en la bola / Bailé en la pelota / Bailé en la pelotapelota / Bailé en la pelota

I gave up cigarettesI gave up cigarettes / Di para arriba cigarrillos / / Di para arriba cigarrillos / Dejé cigarrillos / Yo me rendí cigarrillos Dejé cigarrillos / Yo me rendí cigarrillos

Have you ever been to London?Have you ever been to London? / ¿Usted ha estado / ¿Usted ha estado siempre a Londres? / ¿Ud alguna vez ha sido a siempre a Londres? / ¿Ud alguna vez ha sido a Londres? / ¿Ha estado jamás usted a Londres? Londres? / ¿Ha estado jamás usted a Londres?

A barking dog seldom bitesA barking dog seldom bites / Mordeduras de un / Mordeduras de un perro el raspar raramente (Perro ladrador poco perro el raspar raramente (Perro ladrador poco mordedor)mordedor)

Pruebas con Pruebas con Systran, Reverso, FreeTranslationSystran, Reverso, FreeTranslation

euLIH euLIH


(5) (5) Perspectiva que adquiere significación Perspectiva que adquiere significación en la escena internacional a finales del siglo en la escena internacional a finales del siglo XXXX– XX mendearen bukaerako nazioarteko eszenan XX mendearen bukaerako nazioarteko eszenan

garrantzia hartu duen ikuspegiagarrantzia hartu duen ikuspegia– XX. mendeko bukaerei nazioarteko eszenan esanahia XX. mendeko bukaerei nazioarteko eszenan esanahia

eskuratzen duen ikuspuntuaeskuratzen duen ikuspuntua

euLIH euLIH


(7) (7) Se entenderá por rama de actividad económica Se entenderá por rama de actividad económica el conjunto de los elementos patrimoniales activos y el conjunto de los elementos patrimoniales activos y pasivos de una parte de una sociedad que pasivos de una parte de una sociedad que constituyen, desde el punto de vista de la constituyen, desde el punto de vista de la organización, una explotación autónoma, es decir, organización, una explotación autónoma, es decir, un conjunto capaz de funcionar por sus propios un conjunto capaz de funcionar por sus propios

medios.medios.

euLIH euLIH


(7 a.)(7 a.) El conjunto de los elementos El conjunto de los elementos

patrimoniales activos y pasivos de una patrimoniales activos y pasivos de una

parte de una sociedadparte de una sociedad

– Sozietate zati baten ondare elementu aktibo eta Sozietate zati baten ondare elementu aktibo eta

pasiboen multzoapasiboen multzoa

– Gizarte bateko batzuk ondarezko osagai pasibo Gizarte bateko batzuk ondarezko osagai pasibo

eta gogotsuen bat multzoaeta gogotsuen bat multzoa

euLIH euLIH


(7 b.)(7 b.) Se entenderá por rama de actividad Se entenderá por rama de actividad económica el conjunto [...] que constituyen, desde económica el conjunto [...] que constituyen, desde el punto de vista de la organización, una explotación el punto de vista de la organización, una explotación autónoma, es decir, un conjunto capaz de funcionar autónoma, es decir, un conjunto capaz de funcionar por sus propios medios. por sus propios medios.

Jarduera ekonomikoaren arlotzat zera hartuko da: Jarduera ekonomikoaren arlotzat zera hartuko da: antolaketa aldetik bere gaineko ustiategi bat, hau antolaketa aldetik bere gaineko ustiategi bat, hau da, bere bitartekoez funtzionatzeko gauza den da, bere bitartekoez funtzionatzeko gauza den batasun bat osatzen duten [...] multzoa.batasun bat osatzen duten [...] multzoa.

Jarduera ekonomikoaren adarretik ulertuko du [...] Jarduera ekonomikoaren adarretik ulertuko du [...] multzoa bat gizarte bateko batzuk osatzen duten, multzoa bat gizarte bateko batzuk osatzen duten, erakundearen ikusmenaren puntutik, ustiapen erakundearen ikusmenaren puntutik, ustiapen autonomo bat, esate da, funtzionatze haren neure autonomo bat, esate da, funtzionatze haren neure erdi multzo handi bat.erdi multzo handi bat.

euLIH euLIH


(8) a.(8) a. La planificación y ejecución de actuaciones, La planificación y ejecución de actuaciones, generales o selectivas, de obtención de información, generales o selectivas, de obtención de información, así como las relaciones con otras Administraciones a así como las relaciones con otras Administraciones a los mismos efectos.los mismos efectos.

b. Informazioa lortzeko jarduketak, orokorrak b. Informazioa lortzeko jarduketak, orokorrak nahiz hautatzezkoak, eta gainerako nahiz hautatzezkoak, eta gainerako administrazioarekiko informazio jarduketetako administrazioarekiko informazio jarduketetako hartuemanak, planifikatu eta burutzea.hartuemanak, planifikatu eta burutzea.

c. Plangintza eta jokaeren egitea, aukeratze edo c. Plangintza eta jokaeren egitea, aukeratze edo orokorrak, informazioaren lorpenaren, ondorio berei orokorrak, informazioaren lorpenaren, ondorio berei beste Administraciones batzuk zerikusiak Baita Ere.beste Administraciones batzuk zerikusiak Baita Ere.

Technology

Sistema híbrido y cooperativo de traducción automática