Upload
sanchia-chapin
View
12
Download
0
Embed Size (px)
Citation preview
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 1
Rendimiento y Evaluación de Dispositivos Biométricos
Dr. Carlos Enrique Vivaracho Pascual
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 2
Índice Exposición
1. Introducción.
2. Planificando la Evaluación.
3. Los Datos.
4. Medida del Rendimiento.
5. Análisis Estadístico de los Resultados.
6. Bibliografía.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 3
1. Introducción
Evaluar:
Estimar aptitudes y rendimiento de los sistemas
[Sharp]
Prestar igual atención a todos los aspectos, desde la adquisición de los datos, a la integración del
sistema
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 4
1. Introducción
Aspectos a analizar en la evaluación: Rendimiento.
Seguridad, integridad y confidencialidad de los datos.
Fiabilidad, disponibilidad y mantenimiento de la aplicación informática.
Aceptación y/o facilidad de manejo.
Comercialización del producto.
Cuestiones legales.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 5
1. Introducción
Objetivos: Comparar tecnologías. Ver si es factible su realización práctica. Analizar el cumplimiento de requisitos. ...
Importante: objetiva. Realizada por instituciones independientes.
Evaluaciones estándar.
Seguimiento de prácticas y criterio comunes.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 6
1. Introducción
Evaluaciones estándar: Comercial:
International Biometric Group (IBG). International Biometric Industry Association (IBIA).
No comercial: National Institute of Standars and Technology (NIST).
Voz.
Caras, Face Recognition Vendor Test (FRVT): FERET
Fingerprint Verification Competition (FVC). Audio and Video-Based Biometric Person Authentification
(AVBPA) face constest: XM2VTS
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 7
1. Introducción
Criterios comunes. En elaboración:
ISO: JCT1/SC5 (Biometrics) / WG5 (Biometic Testing and
Reporting).
Documentos: Common Criteria:
Common Evaluation Methodology, Biometric Evaluation Methodology Supplement (V1.0, 2002).
Biometric Working Group:Best Practices in Testing and Reporting Performance of
Biometric Devices (V2.01, 2002).
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 8
Índice Exposición
1. Introducción.
2. Planificando la Evaluación.
2.1 Introducción.
2.2 Aspectos a Definir.
3. Los Datos.
4. Medida del Rendimiento.
5. Análisis Estadístico.
6. Bibliografía.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 9
2.1 Planificando: Introducción
Definición de aspectos que condicionan: Ámbito de aplicación.
Alcance.
La adquisición de los datos.
Alcance de los rendimientos obtenidos.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 10
2.1 Planificando: Introducción
Decisiones condicionadas por: El sistema.
Ej. Tiene o no dispositivos de almacenamiento.
El entorno de aplicación. Ej. Voz: vía teléfono - vía micrófono.
El fabricante del dispositivo. Ej. Proporciona o no SDK.
El ámbito del estudio. Ej. Tecnológico, de escenario u operacional.
Aspectos cuya influencia se quiere analizar. Ej. Ruido de fondo, condiciones de iluminación, ...
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 11
2.1 Planificando: Introducción
Definiciones: Muestra: rasgo biométrico capturado.
Ej. Imagen huella dactilar o de la cara.
Patrón: referencia almacenada del usuario Muestras de entrenamiento. Parámetros del clasificador.
Inscripción: proceso de añadir nuevos usuarios
Operación: intento por parte del usuario de validación o identificación de su identidad.
Se pueden usar una o más muestras.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 12
2.2 Planificando: Aspectos a Definir
1. Clasificación de la muestra (I): Online
la inscripción o la clasificación se realiza en el momento de la captura
No es necesario almacenar los datos.
Se aconseja: permite su tratamiento posterior.
Si no es posible: medidas más completas si se toman decisiones con distintos niveles de seguridad.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 13
2.2 Planificando: Aspectos a Definir
1. Clasificación de la muestra (II): Offline
la inscripción o la clasificación se realiza con muestras previamente grabadas
Mayor control y versatilidad en las pruebas.
Coste pequeño al modificar la evaluación.
Problema: definir la adquisición. El número y características de los datos tomados condiciona:
Las pruebas a realizar.
La fiabilidad de los resultados medidos.
El alcance del rendimiento observado.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 14
2.2 Planificando: Aspectos a Definir
2. Tipo de evaluación (I): TecnológicaEl objetivo es medir el estado de la tecnología, determinar el progreso que ésta ha logrado e
identificar lo enfoques más prometedores
Más general. Offline: completamente repetible. Tarea a abordar: ni muy fácil, ni muy difícil.
Sólo así habrá separación entre sistemas. Bases de datos: no vistas de antemano. Evaluaciones estándar: FVC, NIST (voz, caras).
Bases de datos usadas: estándares de hecho. A tener en cuenta: sesgos debido a los sensores
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 15
2.2 Planificando: Aspectos a Definir
2. Tipo de evaluación (II): De Escenario El objetivo es determinar si la tecnología está
suficientemente madura como para cumplir los requisitos de una determinada aplicación
Medida del rendimiento: en escenario prototipo. Modela un determinado campo de aplicación.
Se extiende a todo el sistema. No sólo clasificación, también etapa de captura.
Sensores captura distintos muestras distintas Aconsejable: probar combinaciones sensores -
algoritmos reconocimiento. Ej.: coordina NPL, patrocina CESG (UK).
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 16
2.2 Planificando: Aspectos a Definir
2. Tipo de evaluación (II): OperacionalEl objetivo es analizar si un sistema biométrico
concreto, cumplo los requisitos de una determinada aplicación concreta
Similar a la de escenario, pero para un sistema concreto y en un entorno de uso real.
Puede ser online u offline.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 17
2.2 Planificando: Aspectos a Definir
3. Tarea a abordar (I): Verificación
Se trata de autentificar la identidad reclamada por el usuario
Comparación muestra/s - patrón usuario.
Respuesta: identidad reclamada/rechazada.
Ej. de uso: acceso a servicio de uso personal (ordenador, cuenta bancaria, etc.)
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 18
2.2 Planificando: Aspectos a Definir
3. Tarea a abordar (II): Identificación
Positiva: Se trata de comprobar que un usuario que reclama estar inscrito, lo estáEj. uso: control de acceso a lugares restringidos.
Negativa: Se trata de comprobar que un usuario que reclama no estar inscrito, no lo estáEj. uso: evitar dobles inscripciones en servicios, ej. desempleo.
Comparación muestra - patrones todos usuarios O pertenecientes a una determinada partición.
Reclamación identidad: Implícita, sin dar identidad. Explícita, proporcionando la identidad.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 19
2.2 Planificando: Aspectos a Definir
4. Factores que afectan al rendimiento: Análisis Buscando:
Cuáles son poco relevantes: control no importante
Cuáles afectan a la medida del rendimiento:
Se Fijan de antemano sus valores.
Se diseñan las pruebas de modo que se pueda medir su influencia en el sistema.
Prever potenciales problemas: anticipar controles.
Identificar casos excepcionales que puedan ser interesantes a considerar en las pruebas.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 20
2.2 Planificando: Aspectos a Definir
4. Factores que afectan al rendimiento: Tipos Inherentes a la tecnología o al dispositivo:
Ajenos al dispositivo. Destacar: Tiempo transcurrido entre inscripción-prueba. Composición de la población bajo estudio.
Factorambiental
Parámetrobiométrico
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 21
2.2 Planificando: Aspectos a Definir
5. Políticas de inscripción/operación. A tener en cuenta en inscripción:
Número de muestras usadas para crear el patrón. Número y separación entre sesiones. Permitir o no actualizar el patrón con muestras
rechazadas. Si se permite validación del patrón: los resultados no se
deben incluir en la prueba.
A tener en cuenta en operación: Número de muestras usadas para la decisión.
A tener en cuenta en ambas: Controlar o no la calidad de la muestra adquirida.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 22
Índice Exposición
1. Introducción.
2. Planificando la Evaluación.
3. Los Datos.
3.1 Introducción.
3.2 Datos del Cliente.
3.3 Datos de Impostores.
3.3.1 Impostores Genuinos.
3.3.2 Impostores Simulados.
3.4 El tamaño de la Prueba.
4. Medida del Rendimiento.
5. Análisis Estadístico de los Resultados.
6. Bibliografía.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 23
3.1 Los Datos: Introducción
Idealmente: habría que realizar pruebas sobre todo posible usuario.
Imposible en la práctica.
Pruebas a realizar sobre un subconjunto.
Alcance de la evaluación. Confianza en las medidas del rendimiento.
Composición y datos adquiridos condicionan
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 24
3.1 Los Datos: Introducción
Consideraciones generales: No es aconsejable el uso de muestras creadas
artificialmente, tanto en lo que se refiere a la muestra, como a las condiciones de adquisición.
Resultados no extrapolables a la realidad.
Cuidado con errores como dobles inscripciones, inconsistencias muestras-individuo o muestras incorrectas.
Es conveniente automatizar la adquisición. Se evita la subjetividad del operador humano. Datos más libres de errores. Adquisición más cercana a la real.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 25
3.1 Los Datos: Introducción
Elementos importantes a tener en cuenta: Entorno de la adquisición.
Iluminación, ruido de fondo, tipo de sensor, ... Composición de la población.
Evaluación de escenario y operacional: Representativos de la aplicación a estudio. Casos especiales: correctamente representados.
Evitar sesgos en los resultados.
Evaluación tecnológica: Suficientemente genéricos y representativos para
permitir comparaciones objetivas.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 26
3.1 Los Datos: Introducción
Definiciones: Intento auténtico: la muestra a clasificar
pertenece al propietario del patrón con el que compara.
Intento impostor: la muestra a clasificar no pertenece al propietario del patrón con el que compara.
Cliente: usuario inscrito.
Impostor: usuario que se hace pasar por cliente.
Activo: trata de imitar al cliente.Pasivo: no trata de imitar al cliente.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 27
3.2 Los Datos: Cliente
Problema: envejecimiento del patrón.El rendimiento del sistema decrece cuanto mayor es el
tiempo transcurrido entre la inscripción y la operación
Hay que realizar pruebas con datos adquiridos con una separación “suficiente” en el tiempo.
“Suficiente”: Imposible de obtener de forma exacta. Aproximación: tiempo necesario para que sane esa
parte del cuerpo. Si está definido: recoger muestras con la misma
frecuencia que en el uso real del sistema.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 28
3.3 Los Datos: Impostores
Formas de operar: Impostores genuinos: datos provenientes de
usuarios diferentes a los clientes, y adquiridas ex profeso para ese fin.
Impostores simulados: se usan muestras de otros clientes.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 29
3.3.1 Los Datos: Impostores Genuinos
Forma más realista de evaluar el sistema.
Mayor control sobre la definición de operaciones.
No siempre posible en la realidad.
Recomendable: adquirir un número alto de datos, y elegir aleatoriamente las pruebas por cliente.
Diferente modo de adquisición: pasivos/activos.
Condiciones de adquisición: las mismas que las de los clientes. No es aconsejable usar bases de datos distintas.
No usar muestras usadas para crear el clasificador.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 30
3.3.2 Los Datos: Impostores Simulados
Formas de operar:
1. Selección aleatoria de un subconjunto por cliente.
2. Realizar comparaciones cruzadas completas.
Usando muestras entrenamiento y/o prueba.
Problema: pruebas de impostores activos.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 31
3.4 Los Datos: Tamaño de la Prueba
Consideraciones generales: Definido por: número de voluntario e intentos.
Fija la confianza en la estimación del error medida.
Problema: tamaño mínimo que asegure un nivel prefijado de confianza
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 32
3.4 Los Datos: Tamaño de la Prueba
Solución 1: Regla del 3[Mansfield y Wayman, 2002][Jovanic y Levy, 1997]
Suposiciones: Pruebas estadísticamente independientes. Probabilidad de error p igual en todas ellas.
Distribución de errores observados: binomial
Establece: la probabilidad de error p mínima que permite asegurar con una confianza del 95% que en N ensayos se pueden tener 0 errores es 3/N.
Ej.: 95% confianza de que p=0.01, es necesario, como mínimo, 300 pruebas sin error.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 33
3.4 Los Datos: Tamaño de la Prueba
Solución 2: Regla del 30 (Doddington)[Doddington,1998][Porter,2000]
Mismas suposiciones anteriores. Establece: para tener un 90% de confianza de que la
tasa de error verdadera está dentro del 30% de la tasa de error observada, debe haber al menos 30 errores.
Ej.: Si tenemos 30 errores en 3000 pruebas
Con un 90% de confianza el error estará entre 0.7% y 1.3%
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 34
3.4 Los Datos: Tamaño de la Prueba
Problemas en las suposiciones anteriores: Independencia estadística entre pruebas, no se puede
asegurar si: Cada muestra de prueba no pertenece a un individuo
distinto. Se simulan operaciones de impostores mediante
comparaciones cruzadas completas.
Igual distribución de errores. La realidad demuestra los siguientes comportamientos:
“Oveja”: comportamiento normal. “Cabra”: personas difíciles de reconocer. PFalsoRechazo alta.
“Cordero”: personas fáciles de imitar. PFalsaAceptación alta. “Lobo”: personas con facilidad para hacerse pasar por
otras. PFalsaAceptación alta.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 35
3.4 Los Datos: Tamaño de la Prueba
Conclusión Reglas anteriores: difícil aplicación práctica. Se usan como referencia.
Recomendaciones [Best Practices]: Número de voluntarios tan grande como se pueda:
cuanto mayor sea menor será el intervalo de confianza sobre la estimación del error medida.
Adquirir suficientes muestras por voluntario, tal que el número de pruebas exceda el requerido por la regla del 3 o del 30, la que sea adecuada.
Calcular la confianza sobre la medida del error estimada.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 36
Índice Exposición
1. Introducción.
2. Planificando la Evaluación.
3. Los Datos.
4. Medida del Rendimiento.
4.1 Introducción.
4.2 Validación de la Muestra.
4.3 Clasificación de la Muestra.
4.4 El Algoritmo de Partición.
4.5 Decisión Final.
4.6 Productividad.
5. Análisis Estadístico de los Resultados.
6. Bibliografía.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 37
4.1 Rendimiento: Introducción
Esquema de un sistema biométrico
Parámetrobiométrico
sensor muestraextracción decaracterísticas
vector de características
decisión sobrela muestra
coincide / no coincidecon el patrón
clasificaciónresultado delclasificador
patrón
válidaValidación
noválida
decisión final
aceptado / rechazado
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 38
4.2 Rendimiento: Validación
Errores.
Tasa de Fallos en Inscripción (TFI): proporción de voluntarios que no han sido inscritos en el sistema.
Tasa de Fallos en Operación (TFO): proporción de operaciones (tanto del cliente, como de impostores) que no han podido ser completadas.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 39
4.3 Rendimiento: Clasificación
Errores. Tasa de Falsos Positivos (TFP) (False Match Rate,
FMR): probabilidad esperada de que una muestra de un usuario sea incorrectamente clasificada como coincidente con el patrón de otro usuario.
Se estima: proporción de muestras falsamente asignadas a un cliente al que no pertenecen.
Tasa de Falsos Negativos (TFN) (False Non Match Rate, FNMR): probabilidad esperada de que una muestra de un usuario sea incorrectamente clasificada como no coincidente con el patrón de ese usuario.
Se estima: proporción de muestras del cliente falsamente rechazadas como no pertenecientes a él.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 40
4.3 Rendimiento: Clasificación
Tasas de error centradas en el algoritmo. Independientes de la política de decisión final. Las normalmente usadas en la evaluación tecnológica. Cálculo aconsejable siempre.
Resultados etapa clasificación: distribución típica.
Solapamiento imposible 100% aciertos.
El rendimiento depende del umbral de decisión.
Resultado clasificador
Cliente
Impostores
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 41
4.3 Rendimiento: Clasificación
Representación gráfica del rendimiento: Características Muestran los valores de la TFP y la TFN para diversos
umbrales de decisión (puntos de funcionamiento).
Permiten una visualización global del rendimiento.
Permiten una comparación objetiva ente sistemas.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 42
4.3 Rendimiento: Clasificación
Representación gráfica del rendimiento: Curvas ROC.(Receiver Operating Characteristics)
Muestran la variación de la TFP (eje X), con respecto a la tasa de “verdaderos positivos” (1-TFN) en el eje Y, para distintos umbrales de decisión.
El eje Y y la recta y=100 pueden ser consideradas las asíntotas de la curva: cuanto más se acerque ésta a ellas mejor es el rendimiento del sistema.
Tasa de Falsos Positivos (%)
Tasa
de V
erd
adero
s Posi
tivos
(%)
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 43
4.3 Rendimiento: Clasificación
Representación gráfica del rendimiento: Curvas DET.(Detection Error Tradeoff) [Martin et al., 1997]
Representa el número de desviaciones normales en la distribución normal estandarizada (media 0 y varianza 1) correspondiente a la TFP (eje X) y a la TFN (eje Y).
La escala original se cambia por la correspondiente probabilidad.
Representación casi lineal. Comparación más clara y fácil. Distancia entre curvas:
diferencia entre rendimientos. Cuanto más cercana a la recta,
más se acerca la distribución de resultados a la normal.Tasa de Falsos Positivos (%)
Tasa
de F
als
os
Negati
vos
(%)
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 44
4.3 Rendimiento: Clasificación
El sistema en un número. Se resume el rendimiento del sistema en un solo valor:
se escoge un punto de funcionamiento característico. Comparación más fácil que con las anteriores. Representación del rendimiento menos completa.
Medidas más usadas:Tasa de Equierror (TEE) (Equal Error Rate, EER): punto
donde se igualan la TFN y la TFP.Medida muy popular.
Coste de Detección (Detection Cost, Cdet):
Cdet = cfn·TFN·Pcliente + cfp·TFp·(1-Pcliente)
cfn y cfp los costes de los errores correspondientes.
Pcliente y (1-Pcliente) las prob. a priori de cliente e impostor
Ej. NIST: cfn=10, cfp=1 y Pcliente=0.01.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 45
4.3 Rendimiento: Clasificación
Dependencia con los errores de la etapa anterior.
Cuanto mayor sea la exigencia con respecto a la calidad de la muestra, mayor será la probabilidad de fallos en operación, pero menor será la probabilidad
de errores en clasificación.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 46
4.4 Rendimiento: Algoritmo de Partición
Medidas de eficacia.
Rango de Penetración (RP) [James y James,2000]: proporción esperada de comparaciones a realizar sobre cada muestra, con respecto al número total de patrones, bajo la condición de comparación con todos los patrones de la partición asignada.
Cálculo: número medio de comparaciones por muestra, dividido entre el número total de patrones.
Cuanto menor sea RP, respuesta más rápida del sistema.
Tasa de Error en la Asignación de la Partición (TEAP): proporción de asignaciones erróneas.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 47
4.4 Rendimiento: Algoritmo de Partición
Relación entre ambas medidas.
Cuanto mayor sea el número de particiones, menor será el RP, pero mayor será la TEAP, y a la inversa.
RP/TEAP=f(parámetros del algoritmo de partición).
Representación de esa relación: curvas ROC y DET, por ej.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 48
4.5 Rendimiento: Decisión Final
Errores. Tasa de Falsas Aceptaciones (TFA): proporción de
operaciones con identidad o no identidad falsamente reclamada que son incorrectamente confirmadas.
Error de tipo II. Identificación positiva y verificación: identidad falsamente
asignada a un individuo. Identificación negativa: rechazo de un usuario inscrito.
Tasa de Falsos Rechazos (TFR): proporción de operaciones con identidad o no identidad correctamente reclamada que son incorrectamente rechazadas.
Error tipo I Identificación positiva y verificación: cliente rechazado. Identificación negativa: sí inscrito un usuario no inscrito.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 49
4.5 Rendimiento: Decisión Final
Relación con errores anteriores. TFP/TFN: def. para comparaciones sobre cada muestra
TFA/TFR: definidas sobre operaciones Ej. verificación de usuario basada en 3 intentos: Falso
Rechazo cada vez que tengamos 3 Falsos Negativos.
TFA/TFR dependen de los anteriores. Ej. Decisión final basada en muestra única y operaciones
de impostores simuladas mediante comparación cruzada completa con las muestras de prueba de cada cliente.
TFA=(1-TFO)·RP·TFPTFR=TFO + (1-TFO)·TEAP + (1-TFO)·(1-TEAP)·TFN
Dependencia de TFA/TFR con el umbral: se representa igual que para TFP/TPN.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 50
4.6 Rendimiento: Productividad
Medidas de la productividad del sistema.
Procesamiento en tiempo real: número medio de inscripciones y número medio de operaciones por unidad de tiempo.
Procesamiento posterior a la adquisición de la muestra: tiempo medio por cliente del algoritmo de creación de patrones y tiempo medio por operación del algoritmo de clasificación.
Medidas interesantes desde el punto de vista práctico.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 51
Índice Exposición
1. Introducción.
2. Planificando la Evaluación.
3. Los Datos.
4. Medida del Rendimiento.
5. Análisis Estadístico de los Resultados.
5.1 Introducción.
5.2 Sensibilidad Frente a Cambios.
5.3 Confianza en los Errores Estimados.
6. Bibliografía.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 52
5.1 Análisis Estadístico: Introducción
Tipos de errores en el cálculo del rendimiento:[Best Practices, 2002]
Aleatorios: debidos a la variación natural de las muestras, los voluntarios, etc.
Condiciona la confianza en el resultado obtenido.
Sistemático: debidos a sesgos en el procedimiento de evaluación.
Ej. probar sólo bajo determinadas condiciones ambientales, tipos de individuos sobre o infrarrepresentados, etc.
Interesante: estudiar como afecta al rendimiento del sistema determinadas modificaciones en las condiciones de prueba.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 53
5.2 Análisis Estadístico: Sensibilidad
Sensibilidad frente a cambios (error sistemático).
Objetivo: establecer la significación estadísticas de las diferencias en el rendimiento observadas al modificar determinadas condiciones de prueba.
Alternativa [Mansfield et al.,2001]: prueba 2 Evalúa la certeza sobre la hipótesis nula, H0: “x e y son
independientes”, con x e y los factores bajo estudio.Ej. x=“resultados para hombres”, y=“res. para mujeres”
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 54
5.3 Análisis Estadístico: Confianza
Confianza en las estimaciones (error aleatorio). Única forma de calcular el error real p del sistema sería
probando sobre todo usuario y condición de uso.
Imposible en la práctica: se obtiene una estimación p’.
Problema: deducir el comportamiento real del sistema a partir del estimado.
Cuestiones importantes a resolver: Prefijado un nivel de confianza sobre la medida de error,
encontrar el número mínimo de pruebas que lo garantice. Prefijado el tamaño de la población de prueba, y las
condiciones experimentales, encontrar el intervalo de confianza sobre la estimación de error obtenida.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 55
5.3 Análisis Estadístico: Confianza
Aprox. gaussiana: cálculo intervalo confianza. Para un número suficiente de pruebas, ni muy grande,
ni muy pequeño: la distribución del error observado se puede aproximar por una gaussiana.
Con un nivel de confianza del 100(1-)%, se puede afirmar que el error real p de nuestro sistema estará dentro del intervalo de confianza:
V’(p’) estimación de la varianza del error observado. (1-/2) el área de la distribución normal entre - y z1-/2.
Ej. 95% nivel de confianza: z0.975 = 1.96
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 56
5.3 Análisis Estadístico: Confianza
Aprox. gaussiana: condiciones cálculo anterior.
Los voluntarios son representativos de la población bajo estudio.
Intentos de distintos voluntarios son independientes.
La tasa de error puede variar entre voluntarios. Se permite la existencia de “lobos”, “ovejas”, “cabras” y
“corderos”.
El número de errores observado no es muy pequeño.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 57
5.3 Análisis Estadístico: Confianza
Aprox. gaussiana: cálculo de V’(p’). Para TFN, n voluntarios, ai FN para voluntario i, y con:
1 intento por voluntario:
Con
m intentos por voluntario:
Con
mi intentos por vol.:
Con
Con
ii
n
ap
i
i
mn
ap
i
i
n
mm
ij j
i
m
ap
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 58
5.3 Análisis Estadístico: Confianza
Aprox. gaussiana: cálculo de V’(p’). Para TFP, n voluntarios, bi FP para voluntario i, y con:
1 intento por impostor:
Con
Impostores simulados usando las muestras de prueba de otros clientes, comparación cruzada completa:
m: muestras por voluntario. bij: muestras del voluntario i FA como pertenecientes al cliente j (bii =0).
ii
n
bp
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 59
5.3 Análisis Estadístico: Confianza
Técnica del Bootstrap: conceptos generales Solución más general: no presupone una forma en la
distribución de errores observados.
Descripción general: Crear muestras boostrap mediante muestreo con
reemplazo del conjunto de prueba original. Muestra bootstrap: reproduce la estructura y
dependencias del conjunto de prueba original. Obtener de manera empírica la distribución de errores,
mediante el cálculo de éstos para cada una de las muestras bootstrap.
Calcular a partir de esa distribución el intervalo de confianza.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 60
5.3 Análisis Estadístico: Confianza
Técnica del Bootstrap: ejemplo aplicación.Estimación de TFN, n voluntarios, m intentos de cada uno
Creación de la muestra bootstrap:1. Elegir aleatoriamente y con reemplazo n voluntarios del
conjunto original: 1, 2, ..., n.
2. Elegir aleatoriamente y con reemplazo para cada i, m intentos de ese voluntario: ti1, ti2, ..., tim.
3. La muestra bootstrap es: Y={X(i,tij) / 1i n 1jm}.
X(i,tij): resultado del clasificador perteneciente al cliente i sobre la muestra de prueba tij.
Se genera un número grande de muestras bootstrap.
Se calcula para cada una la TFN.
Distribución obtenida: aproximación a la real.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 61
5.3 Análisis Estadístico: Confianza
Técnica del Bootstrap: cálculo intervalo confianza. Cálculo del intervalo [L,M] dentro del cual estará con
un 100(1-)% de confianza, la tasa de error real p:
L: error para el que la fracción de muestras bootstrap con tasas de error menor que L sea /2.
M: error para el que la fracción de muestras bootstrap con tasas de error mayor que M sea /2.
Recomendaciones [Best Practices 2002]: 1000 muestras bootstrap si se quiere un nivel de confianza del 95% y 5000 si se quiere del 99%.
p’
Fracc
ión m
uest
ras
Y
L M
=/2
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 62
Índice Exposición
1. Introducción.
2. Planificando la Evaluación.
3. Los Datos.
4. Medida del Rendimiento.
5. Análisis Estadístico de los Resultados.
6. Bibliografía.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 63
6. Bibliografía
UK Biometrics Working Group, Use of Biometric for Identification and Authentication Advice on Product Selection. Issue 2.0, Marzo 2002, http://www.cesg.gov.uk/site/ast/biometrics/media/BiometricsAdvice.pdfJ.P Campbell, Speaker Recognition: A tutorial, Proceedings of the IEEE, vol. 85, no. 9, pp. 1437-1462, Septiembre 1997.The Common Criteria Biometric Evaluation Methodology Working Group, Biometric Evaluation Methodology. Common Criteria for Information Technology Security Evaluation. Biometric Evaluation Methodology Supplement. Version 1.0, Agosto 2002, http://www.cesg.gov.uk/site/ast/biometrics/media/BEM_10.pdf.[Doddington, 1998] G. Doddington, Speaker Recognition Evaluation Methodology. An Overview and Perspective, Proc. de Speaker Recognition and its Commercial and Forensic Applications (RLA2C), pp. 60-66, Abril 1998.G. Doddington, W. Ligget, A. Martin, M. Przybocki y D. Reynolds, Sheep, Goats, Lambs and Wolves. A Statistical Analysis of Speaker Performance in the NIST 1998 Speaker Recognition Evaluation, en Proc. of International Conference on Spoken Language Processing, Artículo 608 del CD-ROM, Noviembre 1998. G. Doddington, M. Przybocki, M. Martin y D. Reynolds, The NIST Speaker Recognition Evaluation: Overview Methodology, Systems, Results, Perspective, Speech Communication, vol. 31, no. 2-3, pp. 225-254, 2000.C. L. Frenzen, Convolution Methods for Mathematical Problems in Biometrics, Naval Postgraduate School Technical Report, NPS-MA-99-001, Enero 1999.C. L. Frenzen, Convolution Methods for Mathematical Problems in Biometrics, National Biometric Test Center Collected Works 1997-2000, pp. 45-49, Agosto 2000, Documento online http://www.engr.sjsu.edu/biometrics/nbtccw.pdf.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 64
6. Bibliografía
The International Biometric Group, Comparative Biometric Testing. Official Test Plan 2.12, 2003. Disponible en http://www.ibgweb.com.[James y James, 2000] Kang James y Barry James, The “Penetration Rate” in Automatic Fingerprint Identification Systems, National Biometric Test Center Collected Works 1997-2000, pp. 173-174, Agosto 2000, Documento online http://www.engr.sjsu.edu/biometrics/nbtccw.pdf. [Jovanic y Levy, 1997] B.D. Jovanovic y P.S. Levy, A Look at the Rule of Three, The American Statisticiam, vol. 51, no. 2, pp. 137-139, 1997.Dario Maio, Davide Maltoni, Raffaele Cappeli, J. L. Wayman y Anil K. Jain, FVC2000: Fingerprint Verification Competition, IEEE Trans. On Pattern Analysis and Machine Intelligence, vol. 24, No. 3, pp. 402-412, Marzo 2002. [Best Practices, 2002] A.J. Mansfield y J.L. Wayman, Best Pratices in Testing and Reporting Performance of Biometric Devices. Version 2.01, Agosto 2002, Documento online http://www.cesg.gov.uk/site/ast/biometrics/media/BestPractice.pdf.T. Mansfield, G. Kelly, D. Chandler y J. Kane, Biometric Product Testing Final Report, National Physical Laboratory, UK, CESG contract X92A/4009309, Marzo 2001, http://www.cesg.gov.uk/site/ast/biometrics/media/BiometricTestReportpt1.pdf .[Martin et al., 1997] A. Martin, G. Doddington, T. Kamm, M. Ordowski y M. Przybocki, The DET Curve in Assessment of Detection Task Performance, Proc. Eurospeech, vol. 4, pp. 1895-1898, Septiembre 1997.P. Jonathon Phillips, Alvin Martin, C. L. Wilson y Mark Przybocki, An Introduction to Evaluation Biometric Systems, IEEE Computer, pp. 56-63, Febrero 2000. P. Jonathon Phillips, Patrick Grother, Ross J. Micheals, Duane M. Blackburn, Elham Tabassi y Mike Bone, Face Recognition Vendor Test 2002: Evaluation Report, Marzo 2003, Disponible en http://www.frvt.org/FRVT2002/documents.htm
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 65
6. Bibliografía
[Porter, 2000] Jack E. Porter, On the “30 Error” Criterion, National Biometric Test Center Collected Works 1997-2000, pp. 51-56, Agosto 2000, Documento online http://www.engr.sjsu.edu/biometrics/nbtccw.pdf.Douglas A. Reynolds, Speaker Identification and Verification using Gaussian Mixture Speakers Models, Speech Communications, vol. 17, nos. 1-2, pp. 91-108, Agosto 1995.K.R. Sharp, Whose Face Is It Anyway?, idSYSTEMS, vol. 20, no. 4, Abril 2000. Disponible en www.scs-mag.com/reader/2000_04/whose0400.Weicheng Shen, Marc Surette y Rajiv Khanna, Evaluation of Automated Biometrics-Based Identification and Verification Systems. Proceedings of the IEEE, vol. 85, no. 9, pp. 1464-1478, Septiembre 1997.J.L. Wayman, Biometric Technology Testing, Evaluation, Results. Disponible en http://www.engr.sjsu.edu/biometrics/publications.html. J. L. Wayman, Confidence Interval and Test Size Estimation for Biometric Data, Proc. Automatic Identification Advanced Technologies (AutoID), Summit, NJ (USA), 1999. Y en National Biometric Test Center Collected Works 1997-2000, pp. 91-102, Agosto 2000, Documento online http://www.engr.sjsu.edu/biometrics/nbtccw.pdfJ. L. Wayman, Error Rate Equations for the General Biometric System, IEEE Robotics and Automation Magazine, vol. 6, no. 9, pp. 35-48, Enero 1999. Y en National Biometric Test Center Collected Works 1997-2000, pp. 103-128, Agosto 2000, Documento online http://www.engr.sjsu.edu/biometrics/nbtccw.pdf.J. L. Wayman, “Degrees of Freedom” as Related to Biometric Device Performance. National Biometric Test Center Collected Works 1997-2000, pp. 201-208, Agosto 2000, Documento online http://www.engr.sjsu.edu/biometrics/nbtccw.pdf.
Técnicas Biométricas Aplicadas a la Seguridad
Evaluación Dispositivos Biométricos 66
6. Otra Bibliografía
J. L. Wayman, Technical Testing and Evaluation of Biometric Identification Devices, en Biometrics: Personal Identification in a Networked Society, Editado por A. Jain, R. Bolle y S. Pankanti, Kluwer Academic Press, Boston, 1999. Y en National Biometric Test Center Collected Works 1997-2000, pp. 67-90, Agosto 2000, Documento online http://www.engr.sjsu.edu/biometrics/nbtccw.pdf.J. L. Wayman, A. Jain, D. Maltoni y D. Maio, Biometric Systems: Technology, Design and Performance Evaluation, Springer Verlag, 2003.