54
Autenticación Biométrica de Firma Manuscrita sobre Dispositivos Móviles de Captura Biometric Recognition Group – ATVS (http://atvs.ii.uam.es) Escuela Politécnica Superior Universidad Autónoma de Madrid Dr. Javier Ortega-Garcia Catedrático de Teoría de la Señal y Comunicaciones Director del Grupo de Reconocimiento Biométrico - ATVS II Encuentro Nacional sobre la Firma Electrónica en los Servicios Públicos EPS/UAM, 15-16 Octubre 2013

Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

Embed Size (px)

Citation preview

Page 1: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

Autenticación Biométrica de Firma Manuscrita

sobre Dispositivos Móviles de Captura

Biometric Recognition Group – ATVS

(http://atvs.ii.uam.es)

Escuela Politécnica Superior

Universidad Autónoma de Madrid

Dr. Javier Ortega-Garcia

Catedrático de Teoría de la Señal y Comunicaciones

Director del Grupo de Reconocimiento Biométrico - ATVS

II Encuentro Nacional sobre la Firma Electrónica en los Servicios Públicos

EPS/UAM, 15-16 Octubre 2013

Page 2: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 2/53

Esquema de la Presentación

0. ¿Quiénes Somos?

1. Introducción

2. Autenticación Biométrica

2. Evaluación de Sistemas

3. Avances Recientes

4. Conclusiones

Page 3: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 3/53

Grupo ATVS (i)

El grupo ATVS se crea en 1992 en la UPM, iniciado por los catedráticos Javier

Ortega García y Joaquín González Rodríguez

Sus actividades de I+D+i abarcan diversos aspectos de los campos de las

tecnologías del habla y el tratamiento de señales biométricas

Firma manuscrita y escritura, reconocimiento de huella dactilar y palmar,

autenticación de iris y de geometría de la mano, aplicaciones forenses y de

seguridad.

Actualmente, el grupo está formado por más de 30 personas, entre profesores /

investigadores de plantilla, investigadores pre- y post-doctorales, y otros

investigadores,

Page 4: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 4/53

Contratos y Proyectos (selección)

Page 5: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 5/53

BEAT; TABULA RASA (FP7 EU, STREPs) • Participants: ATVS + 8 European institutions

• November 2010 – May 2014: BIOMETRIC SECURITY

TeraSense (Consolider-Ingenio 2010) • Participants : 16 Spanish Universities

• December 2008 – November 2013: BIOMETRICS BEYOND THE VISIBLE

Bio-Residence, BBfor2 (FP6-FP7 EU, Marie Curie Actions) • Participants : ATVS, Michigan State University, + 8 European institutions

• April 2007 – December 2013: RESEARCH MOBILITY IN BIOMETRICS

BioSec, BioSecure (FP6 EU, IP and NoE) • Participants : 29 European institutions, incl. ATVS

• December 2003 – September 2007: BIOMETRIC DATABASES AND RESOURCES

COST IC-1106, COST-275, COST-2101 (ESF EU, COST Actions) • Participants : +15 European Countries

• May 2001 – September 2010: BIOMETRIC RESEARCH NETWORKING

CONTEXTS (Comunidad de Madrid) • Participants: ATVS, UAH, UPM, UC3M

• January 2010 – December 2013: NEW BIOMETRIC APPLICATIONS

MCYT Bimodal, Biosecur-ID, Bio-Pass, Bio-Challenge (Spanish

Ministry of Science and Technology) • Participants : ATVS, EUP Mataró, U País Vasco, U Valladolid

• December 2000 – November 2012: BASIC RESEARCH IN BIOMETRICS

Contratos y Proyectos (selección)

COST

Action

IC-1106

Page 6: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 6/53

Cátedra Telefónica – UAM

• 2010-2014

Common Criteria Development

• Funding from: Ministerio de Defensa

• Period: January 2009 – December 2010

Automatic Writer & Latent Fingerprint ID

• Funding from: Ministerio del Interior

• Period: January 2009 – December 2010

Touchless sensor

• Funding from: TBS

• Period: 2007 –2008

Piramid Multimodal Biometrics

• Funding from: Mina Software, S.L.

• Period: March 2007 – October 2008

Signature Verification over TabletPC

• Period : October 2004 – March 2005

Contratos y Proyectos (selección)

Page 7: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 7/53

1.Introducción

Page 8: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 8/53

Introducción

La firma es un rasgo biométrico que cuenta con una alta aceptación social por

parte de los usuarios, habiendo sido utilizada durante siglos como medio de

autenticación de documentos legales y de transacciones y contratos civiles

El reconocimiento automático de firma manuscrita se enfrenta a varios retos

tecnológicos:

Variabilidad intra-usuario alta (variabilidad conductual, inter-sessión)

Dificultad para modelarla; necesidad de gran cantidad de datos vs. escasez

de los mismos

Baja variabilidad inter-usuario (especialmente en caso de imitaciones)

El grado de bondad en las imitaciones es impredecible

Muestras de un mismo usuario Imitación

Alta variabilidad Baja variabilidad

Page 9: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 9/53

Introducción

Page 10: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 10/53

Dispositivos y Escenarios de Adquisición

La mayoría de dispositivos móviles permiten la adquisición de escritura

La activación de esquemas de reconocimiento automático supone cambios

menores en las arquitecturas y sistemas

La potencia de estos esquemas estriba en la I+D desarrollada en el laboratorio,

y pueden ser implementados con coste computacional moderado y ocupación

de memoria reducida

F. Alonso-Fernandez, J. Fierrez-Aguilar, J. Ortega-Garcia and J. Gonzalez-Rodriguez, “Secure Access System using Signature Verification over

Tablet PC”, IEEE Aerospace and Electronic Systems Magazine, Vol. 22, n. 4, pp. 3-8, April 2007.

M. Martinez-Diaz, J. Fierrez, J. Galbally, F. Alonso-Fernandez and J. Ortega-Garcia, "Signature verification on handheld devices", in Proc.

MADRINET Workshop, pp. 87-95, Salamanca, Spain, November 2007

Page 11: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 11/53

Los dispositivos móviles representan un escenario novedoso,

con desafíos propios:

M. Martinez-Diaz, J. Fierrez, J. Galbally and J. Ortega-Garcia, “Towards Mobile Authentication Using Dynamic Signature

Verification: Useful Features and Performance Evaluation”, Intl. Conf. on Pattern Recognition, ICPR 2008, Florida, USA

o Calidad de adquisición heterogénea

o Ergonomía singular

• El usuario debe sostener el dispositivo

• El útil y la pantalla son pequeñas

o La superficie de firma no es familiar

o No siempre es posible capturar la

presión, los trazos aéreos o la

orientación del útil

o Carga computacional limitada

Dispositivos y Escenarios de Adquisición

Page 12: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 12/53

Escenarios de Aplicación

Log in / activación de cuentas • Control lógico de accesos (cuenta, LAN, etc.)

• Activación local o remota de sistemas

• Passwords gráficos

Pago en transacciones comerciales • Wireless (WIFI, GPRS…) o Punto de Venta

• Acceso ubicuo a transacciones comerciales, banca electrónica,

etc.

Transacciones legales • Documentos / certificados legales

• Aplicaciones de Administración electrónica

Validación de clientes • Paquetería y mensajería urgente

Acceso securizado • Archivos médicos / información financiera

• Encriptado de datos

Page 13: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 13/53

2. Proceso de Autenticación

Page 14: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 14/53

Etapas en el Proceso de Autenticación

1. Adquisición de Datos y Pre-Procesado

2. Extracción de Características

3. Cáculo de Similitud (Matching)

Page 15: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 15/53

1. Adquisición de Datos y Pre-Procesado

2. Extracción de Características

3. Cálculo de Similitud (Matching)

Etapas en el Proceso de Autenticación

Page 16: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 16/53

Adquisición de la Firma

Adquisición de muestras de firma dinámica

sample index

0 50 100 150 200 250 300 350 4000

2000

4000

x

0 50 100 150 200 250 300 350 4000

1000

2000

y

0 50 100 150 200 250 300 350 4000

500

1000

z

0 50 100 150 200 250 300 350 4001000

1200

1400

azim

uth

0 50 100 150 200 250 300 350 400400

500

600

altitu

de

Altitude (0°-90°)

90°

270°

Azimuth (0°-359°)

180°

Altitude (0°-90°)

90°

270°

Azimuth (0°-359°)

180°

Page 17: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 17/53

La tableta captura muestras de la posición del útil a lo largo de la trayectoria de firma

Los puntos están equiespaciados en el tiempo, no en su ubicación espacial

Adquisición de la Firma: Muestreo Espacial

Page 18: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 18/53

Normalización (necesaria siempre):

• Invarianza a la traslación o coordenadas relativas al punto de comienzo, o al centro de masas …

o coordenadas relativas al punto anterior (∆𝑥, ∆𝑦)

• Invarianza con la escala o Ajuste a tamaño prefijado

• Invarianza a la rotación o Detección y giro respecto a

eje principal

Remuestreo (no siempre necesario):

• Se reduce o se normaliza el número de muestras para obtener puntos equidistantes en el espacio.

• Problemas: pérdida potencial de información

• Solución: Inserción de puntos críticos (cambio de trayectoria, comienzo y final de firma, …) como guía de remuestreo.

...

Adquisición de Firma: Pre-Procesado

Page 19: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 19/53

1. Adquisición de Datos y Pre-Procesado

2. Extracción de Características

3. Cálculo de Similitud (Matching)

Etapas en el Proceso de Autenticación

Page 20: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 20/53

Representaciones de la Firma

Principales aproximaciones a las representaciones de firma

Datos de firma

dinámica

Basada en Parámetros

(“Características Globales”) Basada en Funciones

(“Características Locales)

Las firmas son descritas a través

de vectores holísticos multi-

dimensionales

E.g.: Duración, velocidad media,

número de alzamientos, orientación

inicial, etc.

La firmas se describen a través de un

conjunto de secuencias temporales

(derivadas de las señales adquiridas

por la tableta)

E.g.: trayectoria según x, trayectoria según

y, presión, velocidad, aceleración, etc.

Page 21: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 21/53

Representación por Características Globales

Ejemplos de Características Globales

XY

PA

z

0 100 200 300

Al

Page 22: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 22/53

Características espaciales (en cada punto de la trayectoria): coordenadas 𝑥, 𝑦 respecto al centro de la firma

desplazamiento 𝑥, 𝑦 entre puntos consecutivos

seno / coseno del ángulo con el eje 𝑥

curvatura

escala de grises en un entorno de 𝑛 × 𝑛 píxeles

...

Características dinámicas (en cada punto de la trayectoria): velocidad absoluta: (𝑝𝑖 − 𝑝𝑖−1)/(𝑡𝑖 − 𝑡𝑖−1)

velocidad relativa (respecto a la velocidad promedio)

aceleración (tangencial, normal)

presión instantánea ejercida

trayectoria de los trazos aéreos

posición angular del útil

Características Locales más Comunes

Page 23: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 23/53

Representación por Características Locales

Ejemplos de Secuencias Temporales basadas en Características

Locales

XY

PA

z

0 100 200 300

Al

Page 24: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 24/53

Rendimiento según Secuencia

S. Garcia-Salicetti, et al., “Biosecure Reference Systems for On-Line Signature Verification; A Study of Complementarity”,

Annals of Telecommunications Journal, Vol. 62, Nos.: 1&2, Jan.-Feb. 2007

0 2 4 6 8 10 12

x, y

x, y, p

x, y, p, γ

x, y, p, γ, Ф

x, y, p, θ

x, y, p, θ, v

x, y, p, θ, v, ρ

w = x, y, p, θ, v, ρ, a

[w, Δw] EER (%)

0.2 0.5 1 2 5 10 20 40

0.2

0.5

1

2

5

10

20

40

Tasa de Falsa Aceptación (%)

Tasa

de F

als

o R

echazo

(%)

x,y x,y,p x,y,p,γ x,y,p,Φ

0.2 0.5 1 2 5 10 20 40

0.2

0.5

1

2

5

10

20

40

Tasa de Falsa Aceptación (%)

Tasa

de F

als

o R

echazo

(%)

x,y,p,θ x,y,p,θ,v x,y,p,θ,v,ρ x,y,p,θ,v,ρ,a

Page 25: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 25/53

1. Adquisición de Datos y Pre-Procesado

2. Extracción de Características

3. Medida de Similitud (Matching)

Etapas en el Proceso de Autenticación

Page 26: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 26/53

¿Cómo se lleva a cabo el reconocimiento de la firma?

En primer lugar, es necesario una medida de similitud/distancia.

Retos:

• las firmas tienen longitud variable

• La medida de distancia debe ser insensible a variaciones intra-clase

en la forma o los tiempos de la firma

Entonces, se aceptará una firma como genuina si la distancia es

pequeña (similitud alta), y se rechazará en caso contrario.

Matching/Autenticación

Page 27: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 27/53

Medidas de Similitud en Firma

Cálculo de la similitud: enfoques principales

Similitud en Firma

Dinámica

Basada en Parámetros

(“Características Globales”)

Basada en Funciones

(“Características Locales”)

Local

(punto a punto)

Regional

(segmento a segmento)

Clasificadores basados en Distancia

• Euclídea

• Mahalanobis

Clasificadores Estadísticos / otros

• GMM

• Ventanas de Parzen

• Redes Neronales

Matching de Secuencias Temporales

• Modelos Ocultos de Markov (HMM)

• Alineamiento Temporal Dinámico (DTW)

• Matching Estructural

• Correlación Regional

Page 28: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 28/53

Cada firma es descrita mediante un igual

número de características globales

Ej.: los vectores de características son

todos ellos de igual longitud

Medidas de Distancia:

Distancia Euclídea

Entre al firma x y la y:

Problema: La escala y la importancia de la

dimensión individual del vector de

características no se tiene en cuenta.

Distancia de Mahalanobis

entre la firma x y un conjunto de

referencia de media m, y matriz de

covarianza S:

Problema: Disponer de suficiente cantidad de

datos para estimar la matriz de covarianzas.

Matching basado en Características

𝑑 𝐱, 𝐲 = 𝐱𝑖 − 𝐲𝑖2

𝑁

𝑖=1

𝑑 𝐱,𝐦 = 𝐱 −𝐦 𝑇 ∙ Σ−1 ∙ 𝐱 − 𝐦

Page 29: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 29/53

Enfoques usando Secuencias Temporales

Modelos Ocultos de Markov Alineamiento Temporal Dinámico

Correspondencia punto a punto Modelado Estadístico de las Regiones

de la Firma

Page 30: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 30/53

3. Evaluación de Rendimiento

Page 31: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 31/53

Hitos en el Reconocimiento de Firma Dinámica

1982: Alineamiento Temporal Dinámic, DTW (Sato & Kogure)

1989: Estado del Arte (Plamondon & Lorette)

1995: Modelos Ocultos de Markov, modelado de segmentos (Yang et al.)

1996: Características Globales (Lee et al.)

2003: Modelos de Mezclas de Gaussianas, GMM(Richiardi and Drygajlo)

2003: Modelos Ocultos de Markov, secuencias temporales (Ortega-Garcia et al.)

2004: Signature Verification Competition SVC 2004 (Yeung et al.)

2007: Estandarización, formatos de intercambio (ISO/IEC 19794-7, -11)

2007: BioSecure Mobile Evaluation Campaign 2007

2009: BioSecure Signature Evaluation Campaign, PDA/Tablet, Calidad, Entropía

R. Plamondon and G. Lorette, “Automatic Signature Verification and Writer Identification

- The State of the Art”, Pattern Recognition, Vol. 22, No. 2, pp. 107-131, 1989.

Y. Sato and K. Kogure. Online signature verification based on shape, motion and writing

pressure. In Proc. of 6th Intl. Conf. on Pattern Recognition, pp. 823–826, 1982. http://biometrics.it-sudparis.eu/BMEC2007 L. L. Lee, T. Berger, and E. Aviczer, “Reliable On-Line Human Signature Verification

Systems”, IEEE Trans. on PAMI, Vol. 18, No. 6, pp. 643-647, 1996.

J. Ortega-Garcia, et al., “Complete Signal Modeling and Score Normalization for Function-

Based Dynamic Signature Verification”, Proc. of AVBPA, pp.: 658-667, Springer LNCS-2688,

2003.

D. Y. Yeung, et al., “SVC2004: First International Signature Verification Competition”, Proc.

of ICBA, pp.: 16-22. Springer LNCS-3072, 2004.

L. Yang, et al., “Application of Hidden Markov Models for Signature Verification”, Pattern

Recognition, Vol. 28, No. 2, pp.: 161-170, 1995.

J. Richiardi and A. Drygajlo. “Gaussian Mixture Models for on-line signature verification”. In

Proc. of ACM SIGMM Workshop on Biometric Methods and Applications, WBMA, pages

115–122, 2003. http://biometrics.it-sudparis.eu/BSEC2009/

Page 32: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 32/53

Evaluación del Rendimiento: Bases de Datos

Las bases de datos permiten la evaluación sistemática de los algoritmos de

reconocimiento

Las bases de datos grandes y públicas son escasas, debido fundamentalmente a

dos factores:

Cuestiones legales (datos de carácter personal) y de privacidad

Son necesarios enormes recursos para adquirir y procesar los datos

La base de datos MCYT ha sido la base más empleada desde 2003; alcanzándose

con ella rendimientos sobre los 330 usuarios que llevan el EER por debajo del 1%.

Otras base de datos referenciadas incluyen SVC, Biomet, MyIdea, Susig

Más recientemente se han adquirido bases de datos con características

adicionales (p. ej., BioSecure Multimodal Database)

J. Ortega-Garcia, J. Fierrez et al., “MCYT Baseline Corpus: A Multimodal Biometric Database”, IEE

Proceedings - Vision, Image and Signal Processing, Vol. 150, No. 6, pp. 395-401, December 2003.

Page 33: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 33/53

Resultados: Global / Segmental y Fusión

0.1 0.2 0.5 1 2 5 10 20 40

0.1

0.2

0.5

1

2

5

10

20

40

Tasa de Falsa Aceptación /%)

Ta

sa d

e F

als

o R

ech

azo

(%

)

Entrenamiento con 5 muestras

0.1 0.2 0.5 1 2 5 10 20 40

0.1

0.2

0.5

1

2

5

10

20

40

Tasa de Falsa Aceptación (%)

Ta

sa d

e F

als

o R

echa

zo

(%

)

Entrenamiento con 20 muestras

Con Imitaciones, HMM

Sin Imitaciones, HMM

Con Imitaciones, Global

Sin Imitaciones, Global

Con Imitaciones, Fusión

Sin Imitaciones, Fusión

Page 34: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 34/53

Signature Verification Competition, SVC-04

Sistemas

ATVS-UAM

SVC-04 con imitaciones

SVC-04 sin imitaciones

http://www.cs.ust.hk/svc2004/

Page 35: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 35/53

BioSecure Multimodal Database

667 donantes

Equilibrio entre géneros; 18~65, distribución de edades

Dos dispositivos de firma para todos los usuarios Tablet

Dispositivo Móvil

2 sesiones separadas meses; cada uno dividida en 3 bloques de 5 firmas

Permite la comparación sistemática de ambos dispositivos de captura

Imitaciones de muy alta calidad

Las imitaciones se hicieron conociendo la dinámica específica de cada firma; incluso era posible firmar sobre la imagen de la firma objetivo.

J. Ortega-Garcia, J. Fierrez, et al., “The Multi-Scenario Multi-Environment BioSecure Multimodal

Database”, IEEE Trans. on Pattern Analysis and Machine Intelligence, 2010

Evaluación de Rendimiento: Bases de Datos

Page 36: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 36/53

Algunas muestras de ‘BioSecure Multimodal DB’:

Tablet Móvil

Evaluación de Rendimiento: Bases de Datos

Page 37: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 37/53

Sin Imitaciones Con Imitaciones

Incremento de EERs

3 evaluaciones públicas de referencia

BioSecure Multimodal Evaluation Campaign, BMEC 2007

Evaluación sobre la ‘BioSecure Multimodal Database’

Firma dinámica capturada con dispositivo móvil

http://biometrics.it-sudparis.eu/BMEC2007/

Evaluación de Rendimiento: Comparación

Page 38: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 38/53

3 evaluaciones públicas de referencia

BioSecure Signature Evaluation Campaign, BSEC 2009

Evaluación sobre la ‘BioSecure Multimodal Database’

Tarea 1: Móvil vs Tablet, interoperabilidad entre sensores

http://biometrics.it-sudparis.eu/BSEC2009/

Evaluación de Rendimiento: Comparación

Page 39: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 39/53

3 evaluaciones públicas de referencia

BioSecure Signature Evaluation Campaign, BSEC 2009

Evaluación sobre la ‘BioSecure Multimodal Database’

Tarea 2: Efecto de la variabilidad temporal

http://biometrics.it-sudparis.eu/BSEC2009/

Performance Evaluation: Benchmarks

Page 40: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 40/53

3 evaluaciones públicas de referencia

ICDAR 2009 Signature Verification Competition, SigComp 09

Condiciones (quasi)forenses, con datos estáticos y dinámicos

Comparación 1:1 (sin modelos estadísticos de usuario)

http://sigcomp09.arsforensica.org/

Performance Evaluation: Benchmarks

Page 41: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 41/53

4. Avances Recientes

Page 42: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 42/53

Avances Recientes

Los sistemas de reconocimiento de firma han sido estudiados de manera

exhaustiva

Han aparecido nuevos ámbitos de interés:

o Dispositivos móviles (smartphones) con calidad de adquisición

heterogénea

o Creciente interés en temas de seguridad y protección de la privacidad

o Generación sintética de firmas, para compensar la escasez de datos

o Mejor comprensión del proceso de generación de firma, para una mejor

representación y modelado de la misma

o Trabajos en complejidad y calidad de la firma

o Multibiometría: comparación multi-algorítmica

Page 43: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 43/53

Avances Recientes Proceso de Producción de la Firma

A. Woch, R. Plamondon, “Using the Framework of the Kinematic Theory for the Definition of a

Movement Primitive”, Motor Control, Vol. 8, pp.547-557, 2004.

Basado en la Teoría Cinemática de producción de movimientos manuscritos

La velocidad del útil entre dos puntos de control sigue un modelo sigma-

lognormal

Para secuencias de puntos de control, es necesario usar modelos más complejos

(que pueden ser estimados de forma automática: p. ej., usando el algoritmo

XZERO)

Page 44: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 44/53

La firmas son descritas a través de secuencias de puntos de control

A signature can be described by a set of primitives, which are

estimated by the XZERO algorithm.

C. O’Reilly, R. Plamondon, “Automatic Extraction of Sigma-Lognormal Parameters on Signatures”, Intl. Conf. on Frontiers in

Handwriting Recognition, ICFHR 2008, Montreal, Canada

J. Galbally, J. Fierrez, J. Ortega-Garcia and R. Plamondon, “Synthetic On-Line Signature Generation. Part I (Methodology and

Algorithms), Part II: (Experimental Validation)”, Pattern Recognition, Vol. 45, Iss. 7, pp. 2610-2621 & 2622-2632, July 2012.

Avances Recientes Proceso de Producción de la Firma

Page 45: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 45/53

Avances Recientes Información Contenida en la Firma

Recientemente, se ha propuesto una medida de la entropía

del cliente, derivada de la Teoría de la Información

Esta medida está relacionada con la información contenida

en la firma ( discriminabilidad calidad)

Aplicaciones de las medidas de la entropía del cliente:

Categorización automática de las firmas

Análisis de bases de datos

Modelos de usuario específicos

S. Garcia-Salicetti, N. Houmani, B. Dorizzi. “A Client-Entropy Measure for On-Line Signatures”, Biometrics

Symposium, BSYM-08, pp. 83-88, 2008.

Page 46: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 46/53

Avances Recientes Información Contenida en la Firma

Entropía Complejidad

+ +

La entropía del cliente aumenta normalmente con la

‘complejidad’ de la firma (dependiendo de la intra- e inter-

variabilidad del usuario)

F. Alonso-Fernandez, M. C. Fairhurst, J. Fierrez, J. Ortega-Garcia, “Impact of Signature Legibility and

Signature Type in Off-Line Signature Verification”, in Proc. IEEE Biometrics Symposium, BSYM-07,

Baltimore, Maryland, USA, September 2007.

Page 47: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 47/53

Avances Recientes Seguridad y Protección de Plantillas

Los datos biométricos se pueden ver comprometidos si son

almacenados directamente ‘en crudo’ (sin procesar)

Se han desarrollado esquemas de protección de plantillas para

garantizar la privacidad

Criptosistemas biométricos: combinación de claves criptográficas y

datos biométricos (p. ej., fuzzy vault, fuzzy commitment)

Esquemas basados en transformadas: aplicación de funciones no-

invertibles sobre los datos biométricos (p. ej., biometría cancelable)

Abordar la variabilidad intrínseca es el principal reto en este área

E. Maiorana, P. Campisi, and A. Neri, “User Adaptive Fuzzy Commitment for Signature

Templates Protection and Renewability”, SPIE Journal of Electronic Imaging, Jan-March 2008.

Page 48: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 48/53

Avances Recientes Seguridad y Ataques

Ratha et al. describe la taxonomía de ataques sobre sistemas

biométricos.

Ataques Directos, directamente sobre la entrada del sistema (p.

ej., firmas imitadas, firmas sintéticas)

Ataques Indirectos, sobre partes internas del sistema (p. ej.,

ataques tipo ‘hill-climbing’)

Se ha demostrado que es factible atacar los sistemas de firma

manuscrita mediante ataques indirectos:

Características globales: Galbally et al.

Secuencias temporales: Muramatsu et al.

N. K. Ratha, J. H.. Connell, R. M. Bolle, “Enhancing Security and Privacy in Biometrics-Based

Authentication Systems”, IBM Systems Journal, Vol. 40, No. 3, 2001

Page 49: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 49/53

Avances Recientes Ejemplo de ataque tipo ‘Hill-Climbing’

El proceso de ataque a una firma

objetivo se produce de forma

iterativa

En cada paso, la puntuación de

similitud obtenida guía el proceso de

adaptación paramétrica

La adaptación paramétrica empieza

a partir de un modelo general y va

progresando hacia la firma objetivo

Las puntuaciones se incrementan

iterativamente hasta alcanzar el

umbral de aceptación

J. Galbally, J. Fierrez, J. Ortega-Garcia, "Bayesian Hill-Climbing Attack and its Application to Signature Verification", Proc.

IAPR International Conference on Biometrics, ICB-07, Springer LNCS-4642, pp. 386-395, Seoul, Korea, August 2007

Page 50: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 50/53

Recientes Avances Passwords Gráficos / Firmas Cortas (Visé)

Dibujos: con el dedo sobre la pantalla

Firmas Cortas: repetición simplificada y repetitiva de la firma

Cristina Martín Díaz, “Reconocimiento de Passwords Gráficos en Dispositivos Móviles”, Proyecto Fin

de Carrera, Febrero 2010, EPS-UAM

Page 51: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 51/53

Recientes Avances Reconocimiento Forense de Escritura: Biógrafo v2.0

J. Galbally, S. Gonzalez-Dominguez, J. Fierrez, J. Ortega-Garcia, “Biografo: An Integrated Tool for Forensic Writer

Identification”, Intl. Workshop on Biometrics and Forensic, IWBF-2012

Page 52: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 52/53

5. Conclusiones

Page 53: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

J. Ortega-Garcia Autenticación Biométrica de Firma Manuscrita© 53/53

Conclusiones

Tradicionalmente, la investigación en reconocimiento de firma se ha

centrado en la mejora del rendimiento.

La investigación en los algoritmos de reconocimiento sigue siendo un

campo de gran actividad.

Han aparecido nuevos ámbitos de actividad, focalizados sobre:

Nuevos escenarios de aplicación

Interoperabilidad entre dispositivos

Evaluación comparativa de algoritmos

Generación sintética de muestras

Medidas sobre el contenido y la complejidad de la firma

Protección de datos y privacidad

Page 54: Dr javier ortega-garcia_-_uam_-_autenticacion_biometrica_de_firma_manuscrita_sobre_dispositivos_moviles_de_captura

Autenticación Biométrica de Firma Manuscrita

sobre Dispositivos Móviles de Captura

Biometric Recognition Group – ATVS

(http://atvs.ii.uam.es)

Escuela Politécnica Superior

Universidad Autónoma de Madrid

Dr. Javier Ortega-Garcia

Catedrático de Teoría de la Señal y Comunicaciones

Director del Grupo de Reconocimiento Biométrico - ATVS

II Encuentro Nacional sobre la Firma Electrónica en los Servicios Públicos

EPS/UAM, 15-16 Octubre 2013