Avaluació de Gramàtiques de Dependències de FreeLing

Seminari Tractament Automàtic del Llenguatge — desembre 2009

Avaluació de Gramàtiques de Dependències de

FreeLing

Irene Castellón, Marina lloberesGRIAL

Universitat de Barcelona{icastellon,marina.lloberes}@ub.edu

Lluís PadróTALP

Universitat Politècnica de Catalunyapadro@lsi.upc.edu

1. Gramàtiques de dependències de FL2. Bases per a l’avaluació3. Avaluació quantitativa4. Avaluació qualitativa5. Resultats dels primers experiments

Funcionament de les gramàtiques

TXALADependency Parser

Transformarchunks a

dependències

Construir arbressintàctics complets

Assignar funciósintàctica a cada

dependència

TACATShallow Parser

chunks

921 - ~grup-verb[mov]_$$ (sn,sp-de) top_left RELABEL - grup-verb subj d.label=sn* d.side=left

ARBRE DE DEPENDÈNCIES

Format output TXALA

El gato come pescado.

grup-verb/top/(come comer VMIP3S0 -) [ sn/subj/(gato gato NCMS000 -) [ espec-ms/espec/(El el DA0MS0 -) ] sn/dobj/(pescado pescado NCMS000 -) F-term/term/(. . Fp -)]

Potència informativa de les regles

1. Regles de base sintàctica

2. Admeten informació semàntica

921 - $$_grup-verb (sn,sp-de) RELABEL -top_left

grup-verb subj d.label=sn* d.side=right p.class=intr

grup-verb dobj d.label=grup-sp d.side=right d.lemma=a|al

d:sn.tonto=Human d:sn.tonto!=Building|Place p.class=trans

Objectius de l’avaluació

Precisar la robustesa i la profunditat

És suficient la informació sintàctica?

La combinació amb informació

semàntica millora la qualitat?

Les gramàtiques basades en regles

arriben a una qualitat acceptable?

Cal la intervenció de coneixement

estadístic?

▪ Apuntar les estratègies per ampliar les gramàtiques

▪ Determinar una metodologia empírica d’avaluació

Sistema d’avaluació

EsTxalaSpanish Dependency Grammar

Corpus d’avaluació▪ Ancora (Martí et al, 2007)▪ SenSem (Alonso et al, 2007)

Avaluació quantitativa(experiments)

Estadístiques'CoNLL-X Shared Task (2006) script

evaluation

Gold standardSystem analysis

Avaluació qualitativa(experiments)

Comparació amb altres parsers:MaltParser (Nivre et al, 2006)

Avaluació quantitativa

▪ Explicar els errors significatius (en número)

▪ ≈ Avaluació massiva de dades▪ Ancora: 100.000 frases

▪ Experiments programats▪ Llargada oració

▪ Mètriques observades:▪ Labeled Attachment (LA)

▪ Arbres amb assignació correcta del head i de la funció

▪ Unlabeled Attachment (UA)▪ Arbres amb assignació correcta del head

▪ Label Accuracy (LAcc)▪ Arbres amb assignació correcta de funció

Mapping Ancora i FL

▪ EsTxala i Ancora tenen granularitats diferents

▪ Resoldre divergències de criteris lingüístics▪ Llistat únic d’etiquetes de funció sintàctica

▪ Adaptació a FL de totes etiquetes de funció sintàctica d’Ancora▪ Fins i tot, criteris sobre l’estructura sintàctica

Ancora FreeLing

La corre

La que

Correspondències 1 = 1

Ancora FreeLing

cd dobj

cpred pred

suj subj

▪ Transformació directa

Correspondències 1 < n (també n > 1)

▪ Tractament de l’etiqueta S (Ancora)

S és fill de NOM?

subord-mod

S és fill de PREPOSICIÓ?

obj-prep …

sí no

Resolució de casos complexos

▪ Si no es pot adaptar algun criteri, s’adopta una forma híbrida entre FL i Ancora▪ Es conserva l’estructura d’Ancora▪ Es transformen les funcions d’Ancora a FL

Ancora FreeLing Resultat

amics(f0)

i(coord/c)

familiars (grup.nom

amics (co-n)

familiars (co-

i(co-n)

familiars (co-n)

Avaluació quantitativa: resultats

▪ Resultats obtinguts a partir de la versió actual del mapping

▪ Transoformació d’Ancora gold standard i system analysis amb la versió del mapping actual

▪ La finalització del mapping millorarà els resultats

Labeled attachment score: 25562 / 45817 * 100 = 55.79 %Unlabeled attachment score: 30742 / 45817 * 100 = 67.10 %Label accuracy score: 28109 / 45817 * 100 = 61.35 %

Avaluació qualitativa

▪ Detectar▪ Quins tipus fenòmens típicament fallen▪ Quina és la informació més apropiada per millorar la

gramàtica

▪ Avaluació controlada de les dades

▪ Mètriques observades:▪ Labeled Attachment (LA)▪ Unlabeled Attachment (UA)▪ Label Accuracy (LAcc)

DADES ANOTACIÓ CASTELLÀ

SenSem(Castellón et al., 2006)

GOLD STANDARD 25

SYSTEM ANALYSIS 25

Ancora(Martí et al., 2007)

GOLD STANDARD 25

SYSTEM ANALYSIS 25

TOTAL 100

Experiments avaluació qualitativa

▪ Aïllament de fenòmens lingüístics complexos de resoldre en PLN▪ Oracions complexes▪ Subcategorització verbal▪ PP-attachment▪ Coordinació (oracional, sintagmàtica, lèxica)▪ Restriccions de selecció

▪ Prova pilot per comprovar la viabilitat d’aquesta metodologia

E1. Oracions simples vs. complexes

EsTxala Accuracy Scores

EsTxala UA Accuracy

EsTxala LAcc F1

E2a. Subcategorització verbal

corpus LA UA LAcc

SenSem amb subcategorització

85.02 91.82 85.85

SenSem sense subcategorització

85.71 92.09 86.41

▪ Sembla que la subcategorització no empitjora ni millora les anàlisis

E2b. Subcategorització amb els verbs de SenSem

corpus LA UA LAcc

Verbs SenSem amb subcategorització

84.75 90.78 85.82

Verbs SenSem sense subcategorització

85.82 91.13 86.70

▪ Reformulació de l’experiment de subcategorització verbal

▪ Els resultats no són els esperats▪ Caldrà un estudi detallat de les anàlisis proposades per

EsTxala en relació amb la subcategorització verbal

E3. PP-attachment

V SN(N1) SP(PREP,N2)

Juan llenó [el vaso de agua]Juan llenó [ el vaso ] [ de agua ]

Juan llenó [ de agua] [ el vaso ]Juan llenó [ el vaso de alabastro ]Juan llenó [ el vaso ] [ de aceite ]Juan llenó [ el vaso de alabastro ] [ de aceite ]Juan llenó [ de aceite ] [ el vaso de alabastro ]Juan llenó [ el vaso de alabastro ] [ con aceite ]

E3. PP-attachment

http://beta.visl.sdu.dk/visl/es/parsing/automatic/trees.php

http://www.connexor.eu/technology/machinese/demo/syntax/

E3. PP-attachment

Experiment 1 PP (Merlo & Esteve 2006)

Objectiu1- Construcció d'un classificador que determini si un sp és

complement d'un N o d'un V2- Aplicar el resultat del classificador a les decisions de la

gramàtica

Corpus:

Sensem → per a construir el classificadorAncora → per a l'aplicació (un segment controlat)Ancora tot → per a obtenir mesures estadístiques de

coocurrències.

E3. PP-attachment

Experiment 1 PP1- Construcció d'un classificador

Informació extreta a partir d'un corpus analitzat

Patró: V SN(N1) SP(PREP,N2)

Objete: Sp

Proposta de trets

E3. PP-attachment

Proposta de trets - head {N1,V} - classe lèxica del sp(N2) {TCO} problema--> desambiguació - classe lèxica del sn(N1) {TCO}- classe lèxica del V {TCO}- subcat V inclou SP {0,1} →consulta a subcategoritzación - valor prep {forma de la preposició}- distància entre N2 i V {+1,+2..+n. en palabras?}- distància entre N2 i N1 {+1....+n}- deverbal N1 {0,1} - Mutual Information N1 y V / N1 y N2 ??

E3. PP-attachment

Recursos

Subcategorización : listas de la gramática (parciales)Head : corpus anotado sensem Clases léxicas N1 V N2 → Top Concept OntologyDeverbal N1 → llista extreta d'un diccionario. IM : corpus ancoraDistancia: corpus ancora

clases léxicas: Top Concept OntologyGroup, Part, Object, Substance,Gas,Liquid,Solid, Building,

Comestible,Container,Covering,FurnitureGarment,Instrument, Occupation, Place, Representation, Software, Vehicle, Artifact,

Natural,Animalcreature,Human,Plant, Cause, Communication, Condition, Existence, Experience,

Location, Manner, Mental, Modal,Physical,Possesion, Purpose, Quantity, Social, Time, Usage, Dynamic,Static.

E3. PP-attachment

→ Aplicació: weka

- Clasificador - selecció del mètode - Selecció de trets - Aplicació /interpretació de classes - Avaluació → una part del corpus ha de reservar-se per

avaluar el clasificador

E3. PP-attachment

Experiment 1 PP2- Aplicació del classificador en las decisions de la

gramàtica

- aplicació del classificador a l'oració per a analizar- Posar condicions a l'aplicació de les regles (freeling: integració no massa clara)

E3. PP-attachment

Experiment 2 PP Model lingüístic

- escollir una part de corpus limitat i amb vocabulari controlat (o bé crear-lo) → subcorpus

- construir una modelització nominal i nominalizació verbal

Recursos:

- Top Concept Ontology- Corpus sensem /ancora

E3. PP-attachment

Experiment 2 PP Model lingüístic

1) estudi de un subcorpus controlat (unitats verbals i nominals)

- Precisar quines classes semàntiques són compatibles amb els noms. (problema del sentit)

- Precisar quines classes semántiques són compatibles amb els verbs (problema del sentit)--> sensem/adesse

2) Construir un recurs/model que expliciti les combinatories de les classes semàntiques (generalizació)

3) implementar el model en les regles de txala (integració definible)

E4. Coordinació

Experiment Coordinació1)Avaluació controlada

Coordinació lèxicaCoordinació de sintagmesCoordinació oracional

Contruir un corpus amb oracions modéliques ordenades per complexitat--> objectiu avaluar la font de l'error

2) Millores Modelització de nuclis coordinats: - coherència temps i mode verbal ...

Avaluació de Gramàtiques de Dependències de FreeLing

Documents

Avaluació ambiental 2.0?

Avaluació Vallès Occidental

Treball avaluació

Avaluació 1112

Avaluació-Nutrició plantes.doc

Presentació del Grup de PlaDeCo "Gramàtiques de la Convivència"

Avaluació Girona PLSV

Criteris avaluació:

Currículum i avaluació

ORDRE AVALUACIÓ PRIMÀRIA

Avaluació educació primària

Eines d ’ avaluació

Avaluació Eso

Avaluació paper

Avaluació del professorat

Avaluació diagnostica copie

CRITERIS AVALUACIÓ

2 avaluació

Serveis d’avaluació Titular · 1. Introducció 2. Serveis d’avaluació a mida • Avaluació de les necessitats • Avaluació de l’impacteamb evidència • Avaluació de

Avaluació poesies moixos