1 34
100%
Actual Size
Fit Width
Fit Height
Fit Page
Automatic
Procesamiento del Lenguaje Natural – José María Gómez Hidalgo – U. Europea Madrid Introducción al PLN Procesamiento del Lenguaje Natural José María Gómez Hidalgo http://www.esp.uem.es/~jmgomez/ Procesamiento del Lenguaje Natural – José María Gómez Hidalgo – U. Europea Madrid Índice • Definición y aplicaciones • Historia e hitos • Ingeniería y evaluación • Análisis superficial y comprensión – Comprensión – Análisis estadístico • El problema de la ambigüedad
Introducción a PLN
Embed Size (px)
344 x 292
429 x 357
514 x 422
599 x 487
DESCRIPTION
diapositivas de introducción al campo del procesamiento del lenguaje natural, en un lenguaje de facil entendimiento, orientado principalmente a principiantes
Citation preview
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Introducci
n al
PLN
Pro
cesam
iento
del
Leng
uaje
Natu
ralJo
s M
ara
G
me
z H
idalg
ohttp://
www.esp.uem.es/~jmgomez/
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
ndice
Definici
n y
aplicacio
ne
s
H
istoria
e hito
s
Ing
enie
ra y
evalu
aci
n
A
nlisis sup
erficial
y co
mp
ren
sin
C
om
pre
nsi
n
A
nlisis e
stadstico
El p
roblem
a d
e la
am
biged
ad
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Introducci
n al
PLND
efinicin y
aplicacio
nes
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Definici
n y
aplicacio
nes
El
leng
uaje
es u
n a
spe
cto h
um
an
o
fund
am
ental
R
elacio
nad
o co
n la
intelige
ncia
M
edio d
e
Com
unica
cin
Alm
ace
na
mie
nto d
el co
nocim
iento
hum
ano
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Definici
n y
aplicacio
nes
PLN
=
tratam
iento
com
puta
cion
al d
e lo
s
leng
uaje
s n
aturale
s (vs
. fo
rmale
s) p
ara
D
esa
rrollar p
rogra
mas
que re
alicen ta
reas
relacio
nad
as co
n el
leng
uaje
D
esa
rrollar m
odelo
sque ayud
en a
com
pre
nder
los m
eca
nismos h
um
anos rela
cionad
os co
n el
leng
uaje
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Definici
n y
aplicacio
nes
Lingstica
com
puta
cion
al
Esp
ecifica
r m
odelo
s q
ue ap
roxim
en la
capa
cidad
hum
an
a e
n ta
reas lingstica
s co
mo le
er, e
scribir,
escu
chary
habla
r
Ing
enie
ra d
el le
ngu
aje (U
nin
Eu
rope
a)
Desa
rrollar siste
mas ple
nam
ente
funcio
nale
s y
utilizables q
ue re
alicen ta
reas rela
cion
adas co
n el
leng
uaje
i+
D
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Definici
n y
aplicacio
nes
C
ar
cter m
ultidisciplina
r
Lingstica y
psicolingstica
L
exicog
rafa y
term
inologa
Leng
uaje
s fo
rmale
s y
com
piladore
s
Intelig
encia
artificial
R
eprese
ntaci
n d
el co
nocim
iento
Lgica
Ing
enie
ra d
el softw
are
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Definici
n y
aplicacio
nes
T
radu
ccin
auto
mtica
R
ecup
era
cin
de
inform
aci
n
Interfa
ces a
ba
ses d
e d
atos, y
sistem
as d
e
resp
ue
sta a
preg
unta
s
Extra
ccin
de
inform
aci
n
Extra
ccin
de
res
me
ne
s
Re
soluci
n co
ope
rativa d
e p
roblem
as
T
utore
s intelig
ente
s
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Introducci
n al
PLNH
istoria
e hito
s
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Histo
ria e
hitos
P
rime
ros tie
mp
os (1950
-65)
Trad
ucci
n a
utom
tica =
> ALPAC
G
ram
tica tra
nsfo
rmativa
(Ch
om
sky)
Recup
era
cin d
e info
rmaci
n
A
mplia
cin
de
pe
rspe
ctivas (1960
-70)
Sistem
as d
e re
spuesta
a p
regunta
s (BASEBALL)
R
esolu
cin
de p
roblem
as (STU
DEN
T)
Co
nsulta
(ELIZA)
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Histo
ria e
hitos
D
esa
rrollo d
e fo
rmalism
os (1965
-70)
Aug
me
nted T
ransitio
n N
etwork
, ATN
(1960)
Gra
mtica
de ca
sos (1975)
D
epe
nden
cia co
nceptu
al (1972)
S
em
ntica
pro
cedime
ntal (1968)
R
ed se
mntica
(1968)
Hito
s d
e lo
s 70
SH
RD
LU (1972)
LU
NAR
(1972)
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Histo
ria e
hitos
E
xpa
nsi
n d
e d
om
inios d
e aplica
cin
(1970-
85)Interfa
ces a
BDs(LAD
DER/LIFER
, 1977)
Ap
rendizaje
asistid
o p
or co
mputad
ora
(SCHO
LAR, 1970)
A
utom
atizaci
n d
e oficin
as (SC
HED
, 1978)
P
rogra
maci
n a
utom
tica (N
LPQ, 1976)
P
roce
sam
iento
de te
xtos cie
ntficos
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Histo
ria e
hitos
T
end
en
cias a
ctuale
s (1985
-)
Imple
menta
cion
es ind
epe
ndiente
s d
el d
om
inio
Resu
rgimie
nto d
e la
traducci
n a
utom
tica
METEO
(1977)
Com
ercializa
cin d
el PLN
RO
BOT/IN
TELLECT
(1977)
INQUER
Y (1990)
, O
racle C
onT
ext
Cartridg
e(1997)
BABYLON
(1997)
VIAVOIC
E (1998)
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Histo
ria e
hitos
T
end
en
cias a
ctuale
s (1985
-)
Prolife
raci
n d
e fo
rmalism
os (1970
-)
Sintaxis
(gra
mticas
ba
sada
s e
n restriccio
nes)
S
em
ntica
(gra
mtica
de
Mo
ntagu
e)
Intensifica
cin d
el e
mpiricism
o
Aplicaci
n d
el ap
rendizaje
auto
mtico
N
uevo
s d
om
inios d
e aplica
cin
Inte
rnet/W
eb =
> trad
uccin a
utom
tica, re
cuperaci
n d
e
inform
aci
n
Bibliotecas
digitales
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Introducci
n al
PLNIng
enie
ra y
evalu
aci
n
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Ingenie
ra y
evalu
aci
n
T
cnicas g
en
ricas d
e Ing
enie
ra d
el
Softw
are
R
eutiliza
cin
de
he
rram
ienta
s y
md
ulos
Leng
uaje
s d
ecla
rativos (P
rolog, DCG)
R
ecu
rsos l
xicos -W
ordN
et, E
uroW
ordN
et
Ora
cle C
onT
ext
Cartridg
e
Sm
art
N
osotro
s u
sare
mo
s
Java
, P
rolog C
afe, W
eka
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Ingenie
ra y
evalu
aci
n
E
valua
cin
O
bjetivo =
> d
eterm
inar la
calidad
de u
n siste
ma
de PLN
M
ala fa
ma d
esd
e ALPAC
(1966)
Evalu
aci
n d
esd
e la
Inge
niera
del
Softw
are
Inte
rnatio
nal
Stand
ard
ISO/IEC
9126
Caja
neg
ra vs
. caja
de cristal
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Ingenie
ra y
evalu
aci
n
EAG
LES (1992)
E
xpert
Adviso
ry G
roup
s fo
r L
ang
uag
e E
ngine
ering
Stand
ard
s-E
valuatio
n W
orking
Gro
up
Evalu
aci
n d
e p
rogre
so, ad
ecu
acin
y
diagn
stico
Enfoq
ue info
rme d
el co
nsu
mid
or
D
efinicin d
e u
na m
etodologa
de e
valuaci
n
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Ingenie
ra y
evalu
aci
n
EAG
LES (1992)
C
ara
cterstica
s d
e calid
ad (ISO
9126)
Sub
cara
cterstica
s
Funcio
nalidadFiabilidad
Adecu
acin, p
recisin, inte
roperabilid
ad, co
nform
idad, seg
uridad
Cara
cterstica
s
Facilid
ad d
e uso
Facilid
ad d
e m
ant
.
Eficiencia
Tra
nsportabilidad
Mad
ure
z, tole
rancia
a fallos
, recup
erabilid
adC
om
pre
nsibilidad, fa
cilidad de
apre
ndizaje, facilid
ad d
e op
era
cin
Com
porta
mie
nto respe
cto al
tiem
po y
mem
oria
Analizabilidad
, capa
cidad de
modificaci
n y
pru
eba, estabilid
ad
Adaptabilid
ad, facilid
ad de
instalacin y
mante
nimie
nto,
capacid
ad d
e ajuste
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Ingenie
ra y
evalu
aci
n
AR
PA/DAR
PA (1985
-)
(Defe
nse)
Adva
nced
Rese
arch
Proje
cts Ag
ency
Ap
orta
n re
curso
s
D
epe
ndiente
s d
e la
tare
a
Trad
ucci
n a
utom
tica
Acceso
BDs
con
habla
(ATIS)
Re
cuperaci
n d
e te
xtos (TR
EC)
Extra
ccin
de info
rmaci
n (M
UC)
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Ingenie
ra y
evalu
aci
n
R
ecu
rsos p
ara
la e
valua
cin
C
rpora(B
row
nC
orp
us)
C
oleccio
nes
de
textos
de o
rige
n n
atural
en
form
ato
electr
nico
Co
njunto
s d
e ca
sos d
e p
rueb
a
Co
njunto
de
entrad
as co
nstruidas
artificialm
ente
para
prob
ar u
n siste
ma
respecto
a u
n fe
nm
en
o
C
oleccio
ne
s d
e e
valuaci
n (O
hsu
med)
C
onju
nto d
e e
ntradas
en
leng
uaje
natu
ral y
las
corresp
ondie
ntes re
spu
estas de
seables
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Introducci
n al
PLNA
nlisis sup
erficial
y co
mpre
nsi
n
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Anlisis
superficial
y co
mpre
nsi
n
PLN
=
tradu
ccin
a le
ngu
aje inte
rno
de
repre
senta
cin
Sistem
ad
e PLN
Te
xto
Acci
n
Re
sultado
Rep
resenta
cin
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Anlisis
superficial
y co
mpre
nsi
n
C
om
plejidad
de
la rep
rese
ntaci
n
Alta (ej
. lgica
de p
rimer o
rden)
=
> co
mpre
nsi
n
Baja
(ej. Lista
s d
e t
rmin
os)
=
> a
nlisis sup
erficial
C
orre
spo
nde
a d
os co
rriente
s hist
ricas
C
orrie
nte fo
rmalista
=
com
pre
nsi
n =
PLN b
asad
o
en co
nocim
iento
C
orrie
nte e
mpiricista
= a
nlisis sup
erficial
=
PLN
estadstico
A
ctualid
ad =
> te
nde
ncia
a la
integra
cin
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Anlisis
superficial
y co
mpre
nsi
n
C
ara
cterstica
s d
e lo
s siste
ma
s
Co
mpre
nsi
nA
nlisissupe
rficial
Do
minio
Co
ste d
ed
esa
rrollo
Efectivid
ad
Dep
endie
ntesInd
ependie
ntes
AltoB
ajo
AltaM
edia
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Introducci
n al
PLNA
nlisis sup
erficial
y co
mpre
nsi
n
Co
mp
ren
sin
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Com
pre
nsi
nN
iveles d
el le
nguaje
N
ivel fo
nolgico
T
rata d
e c
mo la
s p
alabra
s se
relacio
na
n co
n lo
s
sonid
os q
ue la
s rep
rese
ntan
N
ivel m
orfolgico
T
rata d
e c
mo la
s p
alabra
s se
construye
n a
partir
de u
nas u
nidad
es d
e sig
nificado m
s p
equ
eas
llam
adas m
orfe
mas
P
or eje
mplo
: rpid
a +
mente
=
> de
manera
rpida
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Com
pre
nsi
nN
iveles d
el le
nguaje
N
ivel sint
ctico
Trata
de
cm
o la
s palab
ras p
ueden
unirse
para
form
ar
oracio
nes
, fija
ndo
el p
apel
estructu
ral q
ue
cada
palab
ra
jueg
a e
n la
ora
cin
y q
ue
sintagm
as so
n p
arte
de otros
sintagm
as
N
ivel se
m
ntico
Trata
del
significad
o d
e la
s p
alabra
s y
de c
mo
los
significad
os se
un
en
para
da
r sig
nificado a
un
a o
racin
S
e refie
re al
significad
o ind
epe
ndiente
del
conte
xto, e
s de
cir,
de
la o
racin
aislada
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Com
pre
nsi
nN
iveles d
el le
nguaje
N
ivel p
ragm
tico
Trata
de c
mo la
s o
racio
nes se
usa
n e
n distinta
s
situacio
nes y
de c
mo el
uso
afecta
al sig
nificado
de la
s o
racio
nes
S
e su
ele re
conoce
r u
n sub
nivel: discu
rsivo
Trata
de
cm
o el
significado
de
un
a o
raci
n se
ve
afectad
o p
or la
s o
racio
nes in
mediata
mente
ante
riore
s
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Com
pre
nsi
nA
rquite
ctura
de u
n siste
ma d
e PLN
A
nlisis =
tradu
ccin
de
un
leng
uaje
a otro
C
ada
nivel se
corre
spo
nde
con
un
tipo
de
con
ocim
iento
y p
or ta
nto u
n le
ngu
aje
S
epa
raci
n e
n fa
ses
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Com
pre
nsi
nA
rquite
ctura
de u
n siste
ma d
e PLN
Anlisis
morfo
-
sintcticoE
xpre
sin
en
LN
Anlisis
sem
ntico
Anlisis
prag
mtico
Ejecu
cin
rb
olsintctico
Fo
rma
lgica
Exp
resi
nfin
alR
esultad
o
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Com
pre
nsi
nA
rquite
ctura
de u
n siste
ma d
e PLN
S
epa
raci
n e
n fa
ses fa
vore
ce la
mod
ularid
ad
Integ
raci
n d
e fa
ses fa
vore
ce la
eficien
cia
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Com
pre
nsi
nR
eprese
ntaci
n d
el co
nocim
iento
S
e h
an
prop
ue
sto n
um
ero
sos fo
rmalism
os d
e
repre
senta
cin
(leng
uajes
form
ales)
Gra
mtica
s d
e e
structu
ra d
e fra
se (sinta
xis)
Gra
mtica
s b
asad
as e
n re
stricciones (sinta
xis,
sem
ntica)
Lgica
de p
rimer o
rden y
otras (se
mntica)
Siste
mas d
e m
arco
s -fra
mes(se
mntica
,
prag
mtica)
D
epe
nden
cias co
nceptu
ales (se
mntica)
S
cripts, pla
nes y
objetivos (p
ragm
tica)
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Com
pre
nsi
nR
eprese
ntaci
n d
el co
nocim
iento
Tip
os d
e co
no
cimie
nto
Co
nocim
iento
lingstico
Co
nocim
iento
del
mund
o
Situa
cin
del
discurso
o d
e la
historia
C
on
ocimie
nto d
e la
aplicacin
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Com
pre
nsi
nR
eprese
ntaci
n d
el co
nocim
iento
El
pap
el d
el P
rologco
mo
ma
rco u
nificado
r
Cap
acid
ad p
ara
repre
senta
r co
nocim
iento
morfo
-
sintctico
(Gra
mtica
s d
e C
lusula
s D
efinida
s)
Cap
acid
ad p
ara
repre
senta
r co
nocim
iento
sem
ntico
y d
el m
und
o (Lgica
de p
rimer o
rden)
O
perativid
ad (co
mo le
nguaje
de
prog
ram
aci
n)
Simult
ne
am
ente
form
alismo
y a
nalizado
r
Eje
cuci
n
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Introducci
n al
PLNA
nlisis sup
erficial
y co
mpre
nsi
n
Anlisis
estadstico
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Anlisis
estadstico
Motiva
cin
E
ra d
e la
inform
aci
n (ele
ctrnica)
C
recie
ntes ca
ntidad
es d
e info
rmaci
n y
otros
recu
rsos e
n fo
rmato
electr
nico
Em
presas
, ag
encia
s g
ubern
am
entale
s, individ
uo
s
enfre
ntados
a u
n p
roblem
a d
e sob
recarga
de
inform
aci
n
W
WW
-270
millo
ne
s d
e pgin
as (m
ediados
1998)
De
1970 a
1980 se
pusie
ron
en
circulacin
2000000 de
inform
es a
nuale
s (7000
diarios)
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Anlisis
estadstico
Motiva
cin
C
are
ncia
de m
todos efe
ctivos d
e p
roce
sam
iento
de info
rma
cin p
ara
sistem
as p
rctico
s
PLN b
asad
o e
n co
nocim
iento
efectivo
slo e
n do
minio
s
limitad
os
D
ispo
nibilidad
de re
curso
s
Gra
nde
s ca
ntidad
es d
e te
xto e
n fo
rmato
electr
nico =
>
po
sibilidad
de realiza
r e
studios estadsticos
efectivos
del
uso
del
leng
uaje
Diccio
narios
y d
atos e
n fo
rmato
electr
nico
Por tod
o ello
, cre
ciente
inter
s e
n t
cnicas
estadstica
s
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Anlisis
estadstico
Qu
es?
E
nfoqu
e sim
plista
Tcnica
s b
asad
as fu
ndam
entalm
ente
en co
ntar
palab
ras
E
nfoqu
e g
en
eral
Siste
mas p
rctico
s d
e efe
ctividad
razo
nable
basad
os e
n t
cnicas sim
ples (ta
reas d
e
clasifica
cin)
D
escub
rimie
nto d
e g
eneraliza
ciones (te
oras)
sobre
el u
so d
el le
ngu
aje a
partir
de d
atos
contra
stables e
mprica
mente
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Anlisis
estadstico
Qu
es?
Inte
rsecci
n d
e va
rios ca
mp
os
R
ecup
era
cin d
e info
rmaci
n
Apre
ndizaje a
utom
tico (m
achin
e le
arning)
T
eora
de la
prob
abilidad
E
stadstica
Teora
de cdig
os
T
eora
de la
inform
aci
n
etc.
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Anlisis
estadstico
Tare
as d
e cla
sificaci
n
C
asi
toda
s la
s ta
rea
s re
suelta
s p
or t
cnicas
estadstica
s ad
mite
n u
na
form
ulaci
n co
mo
clasifica
cin
de
texto
C
lasifica
cin
=
agrup
am
iento
de
entid
ade
s
C
lasifica
cin
de
texto
=
agrup
am
iento
de
exp
resio
ne
s e
n le
ngu
aje n
atural
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Anlisis
estadstico
Tare
as d
e cla
sificaci
n
B
sicam
ente
do
s tip
os d
e ta
rea
s
Cla
sificaci
n d
e d
ocu
mento
s
Exp
resio
nes e
n LN
= d
ocum
ento
s / ca
si d
ocu
mentos
G
rano
gru
eso
C
lasifica
cin d
e t
rmin
os
E
xpre
sione
s e
n LN
= p
alabras
/ e
xpresio
nes
muy
corta
s
G
rano
fino
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Anlisis
estadstico
Tare
as d
e cla
sificaci
n
T
are
as d
e cla
sificaci
n d
e d
ocu
me
ntos
R
ecup
era
cin d
e d
ocu
mento
s (IR
-info
rmatio
n
retrieval)
C
ategoriza
cin d
e d
ocu
mento
s (te
xt
categorizatio
n)
Agrup
am
iento
de d
ocu
mento
s (clu
stering)
Filtrad
o/enruta
mie
nto d
e d
ocu
me
ntos (SD
I -
selective
dissem
inatio
n of
inform
ation)
Alin
eam
iento
de te
xto
Seg
me
ntaci
n d
e te
xto
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Anlisis
estadstico
Tare
as d
e cla
sificaci
n
T
are
as d
e cla
sificaci
n d
e t
rmin
os
C
ategoriza
cin d
e t
rmin
os
Etiq
uetad
o sint
ctico (PO
Stagging
-part
-of-spe
ech
tagging)
De
sam
bigua
cin
(WSD
-
wo
rd se
nse
disam
bigu
ation)
Ag
rupam
iento
de t
rmin
os
C
reaci
n d
e th
esa
uri
-diccion
arios
de sin
nimos/ca
mp
os
sem
ntico
s
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Anlisis
estadstico
Recu
rsos disp
onible
s
T
res tip
os d
e re
curso
s
Cole
ccion
es d
e te
xto
Co
rpora
C
oleccio
nes
de
evalu
acin
R
ecu
rsos l
xicos
D
iccion
arios
electr
nicos y
thesa
uri
B
ase
s d
e d
atos l
xicas
Prog
ram
as
R
ecup
eraci
n d
e info
rmaci
n
Apre
ndizaje a
utom
tico
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Anlisis
estadstico
Recu
rsos disp
onible
s
C
orp
ora(sing
. co
rpu
s)
Cole
ccion
es d
e te
xto, n
o n
ece
saria
me
nte
docu
me
ntos
P
ued
e te
ner la
s sig
uiente
s ca
racte
rsticas
R
eprese
ntatividad
(orie
ntado
al estudio
de
la le
ngua)
El
corp
us co
nstituye
una m
ue
stra rep
rese
ntativa d
el
(fragm
ento
del)
leng
uaje
que se
trata d
e rep
rese
ntar
B
row
nC
orp
us -
muestra
repre
sentativa
del
ingls
am
erica
no m
odern
o -1M
pal,
elaborad
o 1960
-70 a
partir
de rep
ortaje
s p
eriodstico
s, ficci
n, te
xto cie
ntfico y
legal,
etc.
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Anlisis
estadstico
Recu
rsos disp
onible
s
A
nota
cin
El
corp
us p
ose
en a
nota
cion
es (etiq
ueta
s) q
ue
prop
orcio
nan alg
n tip
o d
e info
rmaci
n
P
enn T
reeb
ank
-etiq
uetad
o co
n m
arca
s sint
cticas q
ue
indican el
rb
ol d
e a
nlisis d
e cad
a o
raci
n -
extrad
o d
el
Wall
Street
Jou
rnal
M
ultilingu
alidad
El
corp
us p
ued
e te
ner te
xtos e
n va
rios idio
mas
C
anadia
n H
an
sard
s-biling
e ingl
s fra
nc
s alin
ead
o
(mism
os te
xtos e
n d
os idio
ma
s) -
acta
s d
el p
arla
me
nto
canadie
nse
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Anlisis
estadstico
Recu
rsos disp
onible
s
C
oleccio
ne
s d
e e
valua
cin
C
onju
nto d
e te
xtos e
n le
nguaje
natu
ral y
las
corre
spo
ndiente
s re
spuesta
s d
ese
ables p
ara
la
tare
a elegid
a
R
ecup
era
cin d
e d
ocu
me
ntos
U
n co
njunto
de
docu
me
ntos +
un
conju
nto de
solicitude
s
de
inform
aci
n (co
nsultas)
+ u
n co
njunto
de
juicios d
e
releva
ncia (q
u d
ocum
ento
s deb
era
n re
cupera
rse pa
ra
cada co
nsulta)
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Anlisis
estadstico
Recu
rsos disp
onible
s
Alg
un
os eje
mplo
s (cole
ccion
es clsicas)
C
ACM
-
resu
menes
de a
rtculos d
e C
om
mu
nications of
the
ACM
-3204
do
cs, 52
consulta
s
C
RAN
-
aerodin
mica
e Ing
enie
ra A
ero
nutica
-1398
docs
, 225
consulta
s
M
EDLIN
E -M
edicina -1033
docs
, 30
consulta
s
LISA
, N
PL, C
RAN
, Tim
e, etc
.
M
s eje
mplos
(recie
ntes)
OHSU
MED
-E
xtraidas
del
canal
MED
LINE
-348566
docs
,
106 co
nsulta
s
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Anlisis
estadstico
Recu
rsos disp
onible
s
C
ategoriza
cin d
e d
ocu
mento
s
Un
conju
nto d
e d
ocum
ento
s +
un
conju
nto de
categoras
+ u
n co
njunto
de
juicios d
e rele
vancia
(qu
docu
me
ntos
est
n e
n cada
categora)
Alg
un
os eje
mplo
s
Reute
rs-21578
-
noticia
s d
e la
agencia
Reute
rs, categ
ora
s
basad
as e
n el
conte
nido -21578
docs
, 135
categora
s
O
HSUM
ED -
categora
s M
edical S
ubject
He
adings
(MeSH)
-
cerca
de 3000
categora
s
Y
ahoo!
Scie
nce
, Ind
ustry
Secto
r, N
ew
sgro
ups, W
ebKB,
Spam
base
, etc
.
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Anlisis
estadstico
Recu
rsos disp
onible
s
D
esa
mbig
uaci
n (W
SD)
Un
conju
nto d
e d
ocum
ento
s +
un
diccion
ario
+ u
n
conju
nto de
juicios de
releva
ncia
(cul e
s el
significad
o
de
cada
aparici
n de
una
palabra
resp
ecto al
dicciona
rio)
Algu
no
s eje
mplo
s
Sem
cor
-sub
conju
nto d
el B
row
nC
orp
us y
Th
eR
ed
Badg
e of
Co
urag
e -250000
palab
ras, etiq
uetad
as co
n
significad
os d
e W
ordN
et
Intere
st-2369
ora
ciones co
n la
palab
ra inte
rest
,
etiquetad
as co
n sig
nificados d
e W
ordN
et
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Anlisis
estadstico
Recu
rsos disp
onible
s
D
iccion
ario
s ele
ctrnico
s
Diccio
nario
s tradicio
nale
s e
n fo
rmato
electr
nico
Algun
os eje
mplo
s
LDOC
E -Lo
ngm
an D
ictiona
ry of
Co
ntem
pora
ry E
nglish
Intern
et D
iction
ary
Project
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Anlisis
estadstico
Recu
rsos disp
onible
s
Th
esa
uri(sing
. th
esa
uru
s)
Tradicio
nalm
ente
, diccio
nario
s d
e sin
nimos
E
n la
actu
alidad
, cole
cciones d
e p
alabra
s
org
anizad
as e
n g
rupo
s rela
cion
ados
sem
ntica
mente
Alg
un
os eje
mplo
s
Rog
ets
Thesa
uru
s
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Anlisis
estadstico
Recu
rsos disp
onible
s
B
ase
s d
e d
atos l
xicas
Siste
mas co
n info
rma
cin relativa
al l
xico d
e u
no
o va
rios idio
mas
D
iccion
ario
s e
structu
rados co
nceptu
almente
Alg
un
os eje
mplo
s
WordN
et -ingl
s
E
uroW
ordN
et-ingles
, espa
ol, italia
no
, h
olands
, etc
.
ED
R -ingls
y jap
on
s
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Anlisis
estadstico
Recu
rsos disp
onible
s
P
rogra
ma
s d
e re
cupe
raci
n d
e info
rma
cin
D
isead
os p
ara
la ta
rea d
e re
cupera
cin d
e
docu
me
ntos
F
recu
ente
mente
, tile
s p
ara
otras ta
reas co
mo
categoriza
cin, filtrad
o, etc
.
Alg
un
os eje
mplo
s
Sm
art
-m
odelo d
el e
spacio
vecto
rial
Inqu
ery
-rede
s baye
sianas
de infe
rencia
O
racle C
onT
ext
-tecn
ologa p
ropietaria
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Anlisis
estadstico
Recu
rsos disp
onible
s
P
rogra
ma
s d
e ap
rendizaje
mq
uina
C
onstruye
n cla
sificadore
s a
utom
ticam
ente
Aplicable
s a
multiple
sta
reas (categ
oriza
cin,
desa
mbig
uaci
n, etiq
uetad
o sint
ctico, filtrad
o...)
Alg
un
os eje
mplo
s
Rainb
ow
-ap
rendizaje
bayesia
no
SVM
light(Supp
ortV
ecto
r M
achin
es) -
apre
ndizaje d
e
fun
cion
es lin
eale
s co
n u
mbral
R
ippe
r-
apre
ndizaje ind
uctivo d
e regla
s
C4
.5 -
apre
ndizaje d
e
rbole
s de
decisi
n
WEKA
-
mltiple
s m
todos e
n Ja
va
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Anlisis
estadstico
Evalu
aci
n
D
os crite
rios b
sicos
Eficie
ncia
C
mo
es d
e rpid
o el
sistem
a (p
rueb
as e
mpricas
,
com
plejidad
terica)
Efica
cia o
efectivid
ad
Cul
es la
calidad
de
la clasifica
cin
(mtricas
de
efectivid
ad)
Su
ele se
r el
nico
aspecto
consid
erado
S
e su
elen ig
nora
r otro
s a
specto
s (p
. ej
. fa
cilidad
de u
so) a
unq
ue e
n g
eneral,
las t
cnicas so
n
portable
sy e
scalables
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Anlisis
estadstico
Evalu
aci
n
M
tricas d
e efe
ctividad
Tpica
mente
pro
venie
ntes d
el ca
mpo d
e la
recup
era
cin d
e info
rmaci
n y
del
apre
ndizaje
auto
mtico
B
asad
as e
n co
ntar el
nm
ero
de a
cierto
s o
fallos
al a
signar categ
ora
s a
exp
resio
nes
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
Introducci
n al
PLNEl
proble
ma d
e la
am
biged
ad
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
El p
roblem
a d
e la
am
biged
ad
U
no
de
los g
rand
es p
roblem
as e
n el
PLN
Se
prod
uce
cua
ndo
un
a e
xpre
sin
en
LN
po
see
m
s d
e u
na
interp
retaci
n (e
s d
ecir
,
cua
ndo
en
el le
ngu
aje d
e d
estin
o se
le
pu
ede
n a
sign
ar d
os o
m
s e
xpre
sion
es
distintas)
S
e p
rese
nta e
n tod
os lo
s nivele
s d
el le
ngu
aje
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
El p
roblem
a d
e la
am
biged
ad
A
mbig
edad
sintctica
C
ategora
sintctica
"Llo
ro" =
N,V
E
structu
ral
"Jua
n vio
(a M
ara
(con
el tele
scopio))"
"Ju
an
vio (a
Mara)
(con
el tele
scopio)"
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
El p
roblem
a d
e la
am
biged
ad
A
mbig
edad
sem
ntica
Sig
nificado
de la
s p
alabra
s (p
olisem
ia)
"Ba
nco
"
E
ntidad
financie
ra.
A
siento
en u
n p
arq
ue.
A
cum
ulaci
n d
e a
rena e
n u
n ro
.
mbito
de lo
s cu
antificad
ore
s
"Tod
o chico
am
a a
un
perro
"
X
(perro(X)
& Y
(chico(Y)
am
a(X,Y)))
Y
(chico(Y)
X (p
erro(X)
am
a(X,Y)))
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
El p
roblem
a d
e la
am
biged
ad
A
mbig
edad
sem
ntica
R
oles o
caso
s
"Ped
ro co
rri lo
s m
il q
uiniento
s e
n (los
Jueg
os
Olm
picos/tres
min
utos y
medio)
"
"E
n" e
xpre
sa tie
mp
o y
lugar
A
mbig
edad
prag
mtica
A
mbig
edad
refere
ncial
"C
og la
tarta
de
la m
esa y
me
la co
m"
"la" se
refiere
a la
tarta
o a
la m
esa?
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
El p
roblem
a d
e la
am
biged
ad
A
mbig
edad
prag
mtica
A
mbig
edad
en el
discurso
(Literalid
ad)
"(1) P
ued
es ab
rir la
pue
rta? (2)
Te
ngo
fro"
Inte
rpreta
mo
s (1)
literalm
ente
o co
mo a
cto e
xpresivo
indirecto?
Lite
ralme
nte: Al
volver d
e u
n p
aseo
por la
calle y
llegar a
casa, (1)
es u
na
preg
unta
"s/no
" y
la resp
uesta
(2) n
o e
s
adecu
ada
Indirectam
ente
: E
n u
na h
abitaci
n co
n calefa
ccin
, (1)
es u
na
solicitud, y
(2) es
un
a resp
uesta
adecu
ada
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
El p
roblem
a d
e la
am
biged
ad
L
a a
mbig
edad
en
un
nivel d
el le
ngu
aje se
pu
ede
resolve
r u
sand
o co
no
cimie
nto d
e otro
nivel
Am
biged
ad e
structu
ral
"Ped
ro m
at (al
ciervo
(con el
rifle))"
"P
edro
mat
(al cie
rvo) (co
n el
rifle)"
S
e p
ued
e re
solver usa
ndo
cono
cimie
nto se
m
ntico (u
n
rifle slo
pu
ede
ser u
n instru
me
nto) o
con
ocimie
nto d
el
mu
ndo (lo
s cie
rvos n
o usa
n rifle
s)
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
El p
roblem
a d
e la
am
biged
ad
A
mbig
edad
refere
ncial
"M
et la
cam
iseta e
n la
lavad
ora
y la
lav
"
"la" se
refiere
a la
cam
iseta o
a la
lavad
ora?
S
e p
ued
e re
solver usa
ndo
cono
cimie
nto se
m
ntico (la
lavad
ora
es u
n in
strum
ento
y la
cam
iseta el
objeto) o
cono
cimie
nto d
el m
und
o (la
s la
vadora
s n
o se
lava
n, se
limpia
n)
Pro
cesa
mie
nto d
el L
eng
uaje
Natu
ral
Jos
Ma
ra G
m
ez H
idalg
o
U. E
urop
ea
Mad
rid
El p
roblem
a d
e la
am
biged
ad
D
ismin
uci
n d
e la
efectivid
ad e
n tod
as la
s
aplicacio
ne
s
Trad
ucci
n a
utom
tica
car =
> a
utom
vil/vag
n
R
ecup
era
cin d
e info
rmaci
n
Ba
nco
=>
docu
me
ntos fina
ncie
ros o
sobre
ge
ologa o
etc.
LOAD MORE
