IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Tratamiento Automatico de Reglas Ortograficaspara la Deteccion y Correccion de Errores
Brian Pluss Laura Pomponio
Universidad Nacional de RosarioFacultad de Ciencias Exactas, Ingenierıa y Agrimensura
Departamento de Computacion{bpluss,pomponio}@fceia.unr.edu.ar
11 de septiembre de 2008
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Contenidos
1 Introduccion
2 Reglas Ortograficas
3 El Corrector
4 Ejemplos
5 Trabajos Futuros y Conclusiones
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Motivacion
La deteccion y correccion de errores ortograficos es un problemaimportante y cotidiano.Enfoque universal: diccionarios
Se busca la palabra en el diccionario.Correcciones propuestas de acuerdo a una distancia.
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Motivacion
Problema 1: falsos errores.
Problema 2: errores no detectados.
Estas soluciones no utilizan propiedades linguısticas de lapalabra y su contexto.
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Propuesta
Propuesta: atacar el problema mediante reglas que usen estaspropiedades.¿Cuales reglas?
Las que propone la Real Academia Espanola (RAE).
Analisis y clasificacion segun sus cualidades linguısticas.
Implementacion de un prototipo en Prolog.
Esbozo de una arquitectura que integre el corrector a editores detexto y haga uso de herramientas auxiliares.
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Propuesta
Propuesta: atacar el problema mediante reglas que usen estaspropiedades.¿Cuales reglas?
Las que propone la Real Academia Espanola (RAE).
Analisis y clasificacion segun sus cualidades linguısticas.
Implementacion de un prototipo en Prolog.
Esbozo de una arquitectura que integre el corrector a editores detexto y haga uso de herramientas auxiliares.
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Las Reglas
Formuladas para su uso por humanos.
Resuelven ambiguedades con informacion adicional sobre apalabra.
Quien escribe posee esa informacion, lo que permite suaplicacion.Ejemplos:
(Se escriben con b) Las terminaciones -aba, -abas, -abamos,-abais, -aban del preterito imperfecto de indicativo de los verbosde la primera conjugacion. Ejemplos: cantaba, bajabas, amaban.Terminaciones, conjugacion: morfologıa.(Se escriben con b) Las que contienen el elemento compositivobio-, -bio (‘vida’). Ejemplos: biografıa, biosfera, anaerobio,microbio.Significado (‘vida’): semantica.
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Las Reglas
Formuladas para su uso por humanos.
Resuelven ambiguedades con informacion adicional sobre apalabra.
Quien escribe posee esa informacion, lo que permite suaplicacion.Ejemplos:
(Se escriben con b) Las terminaciones -aba, -abas, -abamos,-abais, -aban del preterito imperfecto de indicativo de los verbosde la primera conjugacion. Ejemplos: cantaba, bajabas, amaban.Terminaciones, conjugacion: morfologıa.(Se escriben con b) Las que contienen el elemento compositivobio-, -bio (‘vida’). Ejemplos: biografıa, biosfera, anaerobio,microbio.Significado (‘vida’): semantica.
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Las Reglas
Formuladas para su uso por humanos.
Resuelven ambiguedades con informacion adicional sobre apalabra.
Quien escribe posee esa informacion, lo que permite suaplicacion.Ejemplos:
(Se escriben con b) Las terminaciones -aba, -abas, -abamos,-abais, -aban del preterito imperfecto de indicativo de los verbosde la primera conjugacion. Ejemplos: cantaba, bajabas, amaban.Terminaciones, conjugacion: morfologıa.(Se escriben con b) Las que contienen el elemento compositivobio-, -bio (‘vida’). Ejemplos: biografıa, biosfera, anaerobio,microbio.Significado (‘vida’): semantica.
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Las Reglas
Formuladas para su uso por humanos.
Resuelven ambiguedades con informacion adicional sobre apalabra.
Quien escribe posee esa informacion, lo que permite suaplicacion.Ejemplos:
(Se escriben con b) Las terminaciones -aba, -abas, -abamos,-abais, -aban del preterito imperfecto de indicativo de los verbosde la primera conjugacion. Ejemplos: cantaba, bajabas, amaban.Terminaciones, conjugacion: morfologıa.(Se escriben con b) Las que contienen el elemento compositivobio-, -bio (‘vida’). Ejemplos: biografıa, biosfera, anaerobio,microbio.Significado (‘vida’): semantica.
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Las Reglas
Formuladas para su uso por humanos.
Resuelven ambiguedades con informacion adicional sobre apalabra.
Quien escribe posee esa informacion, lo que permite suaplicacion.Ejemplos:
(Se escriben con b) Las terminaciones -aba, -abas, -abamos,-abais, -aban del preterito imperfecto de indicativo de los verbosde la primera conjugacion. Ejemplos: cantaba, bajabas, amaban.Terminaciones, conjugacion: morfologıa.(Se escriben con b) Las que contienen el elemento compositivobio-, -bio (‘vida’). Ejemplos: biografıa, biosfera, anaerobio,microbio.Significado (‘vida’): semantica.
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Las Reglas
Ejemplos:(Se escriben con b) Las que empiezan por el elementocompositivo bi-, bis-, biz- (‘dos’ o ‘dos veces’). Ejemplos: bipolar,bisnieto, bizcocho.(Se escriben con v ) Las que empiezan por el elementocompositivo vice-, viz- o vi- (‘en lugar de’). Ejemplos:vicealmirante, vizconde, virrey.
Sılabas homofonas, semantica, ambiguedad: pragmatica
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Las Reglas
Ejemplos:(Se escriben con b) Las que empiezan por el elementocompositivo bi-, bis-, biz- (‘dos’ o ‘dos veces’). Ejemplos: bipolar,bisnieto, bizcocho.(Se escriben con v ) Las que empiezan por el elementocompositivo vice-, viz- o vi- (‘en lugar de’). Ejemplos:vicealmirante, vizconde, virrey.
Sılabas homofonas, semantica, ambiguedad: pragmatica
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Linguıstica
Fonologıa: determina que secuencias de sonidos estan en unidioma.
Conceptos: fonema, sılabaAplicacion: separacion en sılabas, determinacion de elementoscompositivos
Morfologıa: estudia la estructura interna de las palabras.Conceptos: categorıas, flexiones, derivacion, composicion,palabra, forma de palabra.Aplicacion: categorizacion, lematizacion.
Sintaxis: estudia la combinatoria de palabras en estructurassuperiores.
Conceptos: sintagmas, oracion.Aplicacion: clasificacion por analisis sintactico, resolucion deambiguedades.
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Linguıstica
Fonologıa: determina que secuencias de sonidos estan en unidioma.
Conceptos: fonema, sılabaAplicacion: separacion en sılabas, determinacion de elementoscompositivos
Morfologıa: estudia la estructura interna de las palabras.Conceptos: categorıas, flexiones, derivacion, composicion,palabra, forma de palabra.Aplicacion: categorizacion, lematizacion.
Sintaxis: estudia la combinatoria de palabras en estructurassuperiores.
Conceptos: sintagmas, oracion.Aplicacion: clasificacion por analisis sintactico, resolucion deambiguedades.
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Linguıstica
Fonologıa: determina que secuencias de sonidos estan en unidioma.
Conceptos: fonema, sılabaAplicacion: separacion en sılabas, determinacion de elementoscompositivos
Morfologıa: estudia la estructura interna de las palabras.Conceptos: categorıas, flexiones, derivacion, composicion,palabra, forma de palabra.Aplicacion: categorizacion, lematizacion.
Sintaxis: estudia la combinatoria de palabras en estructurassuperiores.
Conceptos: sintagmas, oracion.Aplicacion: clasificacion por analisis sintactico, resolucion deambiguedades.
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Linguıstica
Semantica: ciencia de los significados literales.Conceptos: lexica, textitcomposicional, mapeo cognitivo.Aplicacion: desambiguacion respecto del significado absoluto.
Pragmatica: trata del lenguaje en uso.Conceptos: contexto, textitsentido comun, inferencia, referencia,interpretacion, coherencia.Aplicacion: desambiguacion respecto del significado en contexto.
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Linguıstica
Semantica: ciencia de los significados literales.Conceptos: lexica, textitcomposicional, mapeo cognitivo.Aplicacion: desambiguacion respecto del significado absoluto.
Pragmatica: trata del lenguaje en uso.Conceptos: contexto, textitsentido comun, inferencia, referencia,interpretacion, coherencia.Aplicacion: desambiguacion respecto del significado en contexto.
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Arquitectura
Gran parte de los editores populares soportanplugins.
Ejemplos: OpenOffice.org, jEdit, Eclipse,EditPlus, emacs,. . .
Frontera entre el editor y el corrector.
Herramientas auxiliares: tokenizers, que eliminensignos de puntuacion; alguna funcion de librerıa,que lleve las palabras a minusculas; unsilabeador, que separe en sılabas cada una delas palabras; por nombrar solo algunas.
El Corrector utiliza las reglas en la BC para tratarcada palabra.
Cuando necesita informacion linguıstica usaherramientas externas.
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Prototipo
Implementado en Prolog.BC con las reglas, mecanismo de inferencia y algunas de lasherramientas auxiliares parciales, implementadas ad-hoc.No se intento vincular el mismo a ninguna de las herramientas deprocesamiento linguıstico mencionadas en la arquitecturapropuesta.Reglas clasificadas de acuerdo a la informacion linguıstica querequeriran del usuario.Se tratan las palabras con las letras “conflictivas”.Excepciones tratadas en primer lugar.Se asume que hay error y se intenta determinar que reglas seviolaron.Reglas con poca o nula intervencion del usuario se aplican antes.
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Prototipo
aplicar(X,Q):- (excepcion(X) -> (Q = X,write(’Es excepcion : \"’),write(Q),write(’\".’),nl,!));
((retract(buffer(_)) -> true; true),assert(buffer(X)),(exist_v(X) -> ((regla_b(Regla),
aplicar_reglas(Regla,Z,Y,T));(exist_b(X) -> ((regla_v(Regla),
aplicar_reglas(Regla,Z,Y,T));%%Si exist_v y exist_bbuffer(Q));
%%Si exist_v y NO exist_bbuffer(Q)));
%% Si NO exist_v(exist_b(X) -> ((regla_v(Regla),
aplicar_reglas(Regla,Z,Y,T));%%Si NO exist_v y exist_bbuffer(Q));%% Si NO exist_v y NO exist_bQ=X))).
aplicar_reglas(Regla,Z,Y,T):- buffer(Z),T =.. [Regla,Z,Y], T,write(’Aplicar regla a \"’),write(Z),write(’\" : ’), write(T),nl,retract(buffer(Z)),assert(buffer(Y)),fail.
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Prototipo
Ejemplo:
(Se escriben con b) Las palabras acabadas en -bilidad. Ejemplos:amabilidad, habilidad, posibilidad. Excepciones: movilidad, civilidad ysus compuestos.
rb4(X, Y):- ((sub_atom(X,_,_,0,’vilidad’)-> H = bilidad);(sub_atom(X,_,_,0,’vilidades’)-> H = bilidades)
) -> (atom_length(H,N),sub_atom(X,0,_,N,Pre),atom_concat(Pre,H,Y));Y=X.
Al aplicar rb4, se corrige una palabra termina en -vilidad /-vilidades.
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Ejemplo 1
verificabilidad. 1. f. Fil. Cualidad de verificable.
Del diccionario de la RAE. Pero. . .
Microsoft Word 2003
Mozilla Thunderbird
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Ejemplo 1
2 ?- corregir.Ingrese una frase o una lista de palabras entre doble comilla " " y en letras minusculas:|: "la verificabilidad es una caracterıstica deseable".Aplicar regla a "verificabilidad" : rb1(verificabilidad, verificabilidad)...Aplicar regla a "verificabilidad" : rb17(verificabilidad, verificabilidad)Aplicar regla a "verificabilidad" : rv1(verificabilidad, verificabilidad)...Aplicar regla a "verificabilidad" : rv10(verificabilidad, verificabilidad)Aplicar regla a "deseable" : rv1(deseable, deseable)...Aplicar regla a "deseable" : rv10(deseable, deseable)El resultado de la correccion es:"la verificabilidad es una caracterıstica deseable"Yes
3 ?- corregir.Ingrese una frase o una lista de palabras entre doble comilla " " y en letras minusculas:|: "la verificavilidad es una caracterıstica deseable".Aplicar regla a "verificavilidad" : rb1(verificavilidad, verificavilidad)...Aplicar regla a "verificavilidad" : rb4(verificavilidad, verificabilidad)...Aplicar regla a "verificabilidad" : rb17(verificabilidad, verificabilidad)El resultado de la correccion es:"la verificabilidad es una caracterıstica deseable"Yes
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Ejemplo 2
Tanto “vaya” como “baya” estaran en los diccionarios. Entonces. . .
Microsoft Word 2003
Mozilla Thunderbird
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Ejemplo 2
4 ?- corregir.Ingrese una frase o una lista de palabras entre doble comilla " " y en letras minusculas:|: "esto no significa que baya a funcionar correctamente".Aplicar regla a "baya" : rv1(baya, baya)...Aplicar regla a "baya" : rv8(baya, baya)
¿Ud. quiso escribir "vaya" en lugar de "baya"donde "vaya" es presente subjuntivo del verbo "ir" ?(s / n) : s.Aplicar regla a "baya" : rv9(baya, vaya)Aplicar regla a "vaya" : rv10(vaya, vaya)
El resultado de la correccion es:"esto no significa que vaya a funcionar correctamente"
Yes
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Trabajos futuros
Implementar mas reglas.
Analisis de herramientas de procesamiento linguıstico yfactibilidad de integracion, intervencion del usuario, posibleserrores, etc.
Pruebas estadısticas de efectividad y comparacion conherramientas tradicionales. Corpus y scripts.
Implementacion de un plugin para incorporar el corrector a alguneditor popular.
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas
IntroduccionReglas Ortograficas
El CorrectorEjemplos
Trabajos Futuros y Conclusiones
Conclusiones
Propuesta alternativa para resolver un problema habitual.
Analisis de factibilidad practica y teorica.
Posibilidad de automatizacion total con el uso de herramientasde auxiliares.
¿Nunca antes abordado?El ingles, ¿cuantas reglas ortograficas tiene?
Brian Pluss, Laura Pomponio Tratamiento Automatico de Reglas Ortograficas