Reconocimientos de Patrones en Imagenes Digitales

Dr. César A. Beltrán CastañónDr. César A. Beltrán Castañóncesar@spc.org.pecesar@spc.org.pe

http://www.spc.org.pehttp://www.spc.org.pe

RECONOCIMIENTO DE PATRONES EN RECONOCIMIENTO DE PATRONES EN IMÁGENES DIGITALIMÁGENES DIGITAL

Dr. César A. Beltrán CastañónDr. César A. Beltrán Castañón

cesar@spc.org.pecesar@spc.org.pe

Laboratório de Biologia Molecular Laboratório de Biologia Molecular de Coccídiasde Coccídias

Instituto de Ciências BiomédicasInstituto de Ciências Biomédicas Universidade de São PauloUniversidade de São Paulo

Grupo de Pesquisa em Visão CibernéticaGrupo de Pesquisa em Visão CibernéticaInstituto de Física de São CarlosInstituto de Física de São CarlosUniversidade de São Paulo Universidade de São Paulo

ContenidoContenido

• IntroducciónIntroducción• Adquisición y pre-procesamiento de Adquisición y pre-procesamiento de

imágenesimágenes• Representación de formasRepresentación de formas• Clasificación y minería de datosClasificación y minería de datos• ResultadosResultados• Perspectivas futurasPerspectivas futuras

• Coccidiosis en aves: siete especies de Coccidiosis en aves: siete especies de EimeriaEimeria infectan la gallina doméstica: infectan la gallina doméstica:

E. maximaE. maxima E. brunettiE. brunetti E. tenellaE. tenella

E. necatrixE. necatrix E. praecoxE. praecox E. acervulinaE. acervulina E. mitisE. mitis

IntroducciónIntroducción

• Marcadores de DNAMarcadores de DNA• DNA fingerprinting - minisatélites• RAPD• Secuencias ribosómicas ITS1• Marcadores SCARs – PCR multiplex• Desventajas:Desventajas:• Requiere de personal especializado en técnicas moleculares• Requiere transporte de muestras de la granja hasta el laboratorio de referencia – riesgos sanitarios!

PCR multiplex

RAPD

IntroducciónIntroducción

IntroducciónIntroducción• Reconocimiento de Patrones??

Objeto

-# rectas-# de ángulos-# de alas-Tamaño/dimensión-Dist. Alas-.....

Extracción de Características

Classificación/Reconocimiento

Es un avión!!!

¿Cómo aplicar ese proceso

para el reconocimiento de la Eimeria?

ContenidoContenido

• IntroducciónIntroducción• Adquisición y pre-procesamiento de Adquisición y pre-procesamiento de

imágenesimágenes• Representación de formasRepresentación de formas• Clasificación y minería de datosClasificación y minería de datos• ResultadosResultados• Perspectivas futurasPerspectivas futuras

Adquisición y pre-procesamiento Adquisición y pre-procesamiento de imágenesde imágenes

• Secuencia de Secuencia de pasos.pasos.

Micrografias adquiridas por microscopía

Aislamiento de oocistos

individuales

Transformación en tonos de gris

ecualización

Segmentación o Binarización

Detección de contorno

Fezes de gallina

Purificaciónde oocistos

Muestras de oocistos de cada especie

Aquisición de imágenes digitales

• Diagrama de flujo del proceso de reconocimiento de oocistos

Base de datosde imágenes

Extracción de características

Reconocimento de patrones

Vector de características

Pre-procesamiento de imágenes(elemento de verificación/prueba)

Pre-procesamiento de imágenes (conjunto de entrenamiento)

Clasificación

Vector decaracterísticas

X1

X2

X3

Xn

g1

g2

g3

Adquisición y pre-procesamiento Adquisición y pre-procesamiento de imágenesde imágenes

• Segmentación y detección del Segmentación y detección del contornocontorno

Algoritmo de seguimiento de contorno

Contorno paramétrico

x(t) e y(t)

Adquisición y pre-procesamiento Adquisición y pre-procesamiento de imágenesde imágenes

ContenidoContenido

• IntroducciónIntroducción• Aquisición y pre-procesamiento de Aquisición y pre-procesamiento de

imágenesimágenes• Representación de formasRepresentación de formas• Clasificación y minería de datosClasificación y minería de datos• ResultadosResultados• Perspectivas futurasPerspectivas futuras

Representación de formasRepresentación de formas

Platón: El mundo material es uma sombra del mundo real.Aristóteles: La mente, un lugar de las formas

En los brazos de Morpheus

Originalmente publicado en 1917

• Transformación y aplicación de filtros

Representación de formasRepresentación de formas

• Reducción de la dimensionalidad• Remoción de información redundante• Maximizar la capacidad de representación• Caracterizar distintos aspectos

Vector de características Medidas GeométricasMedidas GeométricasRepresentación de la curvaturaRepresentación de la curvaturaCaracterización de la estructura internaCaracterización de la estructura interna

• Medidas geométricas

Representación de formasRepresentación de formas

Área : Conteo del número de pixels

Diámetros : Cálculo por componentes principales

D

d

(a) (b) (c)x

y

x

y y

x

• Medidas geométricas

Representación de formasRepresentación de formas

Simetría :

(d)

(b)

(f)

(c)

(e)

y

x

(a)

• Representación de la curvatura

Representación de formasRepresentación de formas

Sigma=50Sigma=50

Sigma=10Sigma=10

• Caracterización de la estrutura interna

Representación de formasRepresentación de formas

Matrices de Matrices de co-ocurrenciaco-ocurrencia

• Espacio de características

Caracterización de imágenesCaracterización de imágenes

Diámetro menorDiámetro menor

Simetría verticalSimetría vertical

Simetría horizontalSimetría horizontalÁreaÁrea

Entropía de la estructura internaEntropía de la estructura interna

Media de la curvaturaMedia de la curvatura

Desviación estándar curvaturaDesviación estándar curvatura

Entropía de la curvaturaEntropía de la curvaturaSegundo momento angularSegundo momento angular

ContrasteContrasteMomento diferencia inversaMomento diferencia inversaEntropia matriz co-ocurrenciaEntropia matriz co-ocurrencia

Diámetro mayorDiámetro mayor

Excentricidad(ancho/largo)Excentricidad(ancho/largo)

ContenidoContenido

• IntroducciónIntroducción• Adquisición y pre-procesamiento de Adquisición y pre-procesamiento de

imágenesimágenes• Representación de formasRepresentación de formas• Clasificación y minería de datosClasificación y minería de datos• ResultadosResultados• Perspectivas futurasPerspectivas futuras

Clasificación y mineríaClasificación y minería

x1

x2

x3

xn

g1

g2

gc

Clasificación

Vector de características

• Método paramétrico por densidad normal

Clasificación y mineríaClasificación y minería

Función discriminante basada em la distribución normalFunción discriminante basada em la distribución normal

Resultados son intepretados como por similaridad

• Método paramétrico por densidad normal

Clasificación y mineríaClasificación y minería• Generalización del clasificador

Generalización delclasificador

Característicasselecionadas

Taxa do conjuntode treinamento

Característicasseleccionadas

Tasa mínima del conjunto de

entrenamiento

Funcióncriterio

Funcióncriterio

Datos Datos

Base de datos de imágenes

Imágenes

Función criterio

(Clasificador)

Funçãocritério

Sistema de diagnóstico en

tiempo-real

1

1

Datos

Evaluación del desempeño del

clasificador

Selección de características

Definición del tamaño mínimo del conjunto de

entrenamiento

Extracción de características

Base de características

Selección de características

Definición del tamaño mínimo del conjunto de entrenamiento

ContenidoContenido

• IntroducciónIntroducción• Adquisición y pre-procesamiento de Adquisición y pre-procesamiento de

imágenesimágenes• Representación de formasRepresentación de formas• Clasificación y minería de datosClasificación y minería de datos• ResultadosResultados• Perspectivas futurasPerspectivas futuras

ResultadosResultados

EspecieEspecie NNoo de ejemplos de ejemplos

E. acervulinaE. acervulina 636636

E. maximaE. maxima 321321

E. brunettiE. brunetti 418418

E. mitisE. mitis 757757

E. praecoxE. praecox 747747

E. tenellaE. tenella 608608

E. necatrixE. necatrix 404404

TOTALTOTAL 3.8913.891

• Identificación de especies de Eimeria de gallinaConjunto de datos Características

IDID CaracterísticaCaracterística

F1F1 Média de la curvaturaMédia de la curvatura

F2F2 Desviación estándard de la curvaturaDesviación estándard de la curvatura

F3F3 Entropía de la curvaturaEntropía de la curvatura

F4F4 Diámetro mayor (largo)Diámetro mayor (largo)

F5F5 Diámetro menor (ancho)Diámetro menor (ancho)

F6F6 Simetría en función del diámetro mayorSimetría en función del diámetro mayor

F7F7 Simetría en función del diámetro menorSimetría en función del diámetro menor

F8F8 ÁreaÁrea

F9F9 Entropía de la estructura internaEntropía de la estructura interna

F10F10 Segundo momento angularSegundo momento angular

F11F11 ContrasteContraste

F12F12 Momento de la diferencia inversaMomento de la diferencia inversa

F13F13 Entropía de la matriz de co-ocurrenciaEntropía de la matriz de co-ocurrencia

F14F14 Excentricidad o Excentricidad o shape indexshape index

ResultadosResultados• Identificación de especies de Eimeria de gallina

¿Cuál es el conjunto mínimo de elementos de entrenamiento?

30% = 672 ejemplos

96 imágenes/especie

ResultadosResultados• Identificación de especies de Eimeria de gallina

NivelNivel F1F1 F2F2 F3F3 F4F4 F5F5 F6F6 F7F7 F8F8 F9F9 F10F10 F11F11 F12F12 F13F13 F14F14 AciertoAcierto

22 XX XX 76,4576,45

33 XX XX XX 79,1379,13

44 XX XX XX XX 80,1580,15

55 XX XX XX XX XX 81,4781,47

66 XX XX XX XX XX XX 82,9282,92

77 XX XX XX XX XX XX XX 84,3784,37

88 XX XX XX XX XX XX XX XX 85,0885,08

99 XX XX XX XX XX XX XX XX XX 85,0085,00

1010 XX XX XX XX XX XX XX XX XX XX 85,0985,09

1111 XX XX XX XX XX XX XX XX XX XX XX 85,1485,14

1212 XX XX XX XX XX XX XX XX XX XX XX XX 85,2985,29

1313 XX XX XX XX XX XX XX XX XX XX XX XX XX 85,3985,39

1414 XX XX XX XX XX XX XX XX XX XX XX XX XX XX 85,1585,15

Selección de características con SFS y el clasificador por similaridad

ResultadosResultados• Identificación de espécies de Eimeria de gallina

iíveliível F1F1 F2F2 F3F3 F4F4 F5F5 F6F6 F7F7 F8F8 F9F9 F10F10 F11F11 F12F12 F13F13 F14F14 AciertoAcierto

22 XX XX 69,6569,65

33 XX XX XX 74,8074,80

44 XX XX XX XX 77,6977,69

55 XX XX XX XX XX 79,6179,61

66 XX XX XX XX XX XX 81,0281,02

77 XX XX XX XX XX XX XX 81,0581,05

88 XX XX XX XX XX XX XX XX 81,2081,20

99 XX XX XX XX XX XX XX XX XX 81,1581,15

1010 XX XX XX XX XX XX XX XX XX XX 81,2881,28

1111 XX XX XX XX XX XX XX XX XX XX XX 81,4681,46

1212 XX XX XX XX XX XX XX XX XX XX XX XX 80,8880,88

1313 XX XX XX XX XX XX XX XX XX XX XX XX XX 80.9780.97

1414 XX XX XX XX XX XX XX XX XX XX XX XX XX XX 80,1080,10

Selección de características con SFS y el clasificador por probabilidad

ResultadosResultados• Identificación de especies de Eimeria de gallina

Discriminación de especies

EspeciesEspecies Nro. de Nro. de oocistosoocistos

Especies de oocistosEspecies de oocistos

E. aceE. ace E. maxE. max E. bruE. bru E. mitE. mit E. praE. pra E. tenE. ten E. necE. nec

E. acervulinaE. acervulina 636636 81,7681,76 0,000,00 0,000,00 1,731,73 0,160,16 1,731,73 14,6214,62

E. maximaE. maxima 321321 0,000,00 99,0799,07 0,940,94 0,000,00 0,000,00 0,000,00 0,000,00

E. brunettiE. brunetti 418418 0,000,00 0,480,48 94,0294,02 0,000,00 0,960,96 4,074,07 0,480,48

E. mitisE. mitis 757757 0,660,66 0,000,00 0,000,00 92,7492,74 3,043,04 0,260,26 3,303,30

E. praecoxE. praecox 747747 0,000,00 0,000,00 3,083,08 6,696,69 75,7775,77 5,625,62 8,848,84

E. tenellaE. tenella 608608 0,490,49 0,000,00 2,472,47 0,330,33 4,614,61 80,5980,59 11,5111,51

E. necatrixE. necatrix 404404 2,972,97 0,000,00 0,500,50 4,704,70 5,205,20 12,1312,13 74,5174,51

Clasificador: por similaridadClasificador: por similaridadEstrategia de validación: Estrategia de validación: Leave-one-outLeave-one-outAcierto medio: Acierto medio: 85,49%85,49%

ResultadosResultados• Identificación de especies de Eimeria de gallina

Discriminación de especies

EspeciesEspecies Nro. de Nro. de oocistosoocistos

Especies de oocistosEspecies de oocistos

E. aceE. ace E. maxE. max E. bruE. bru E. mitE. mit E. praE. pra E. tenE. ten E. necE. nec

E. acervulinaE. acervulina 636636 84,4384,43 0,000,00 0,160,16 2,202,20 0,160,16 2,202,20 10,8510,85

E. MaximaE. Maxima 321321 0,000,00 98,4498,44 1,561,56 0,000,00 0,000,00 0,000,00 0,000,00

E. brunettiE. brunetti 418418 0,000,00 0,960,96 89,2489,24 0,000,00 3,113,11 6,706,70 0,000,00

E. mitisE. mitis 757757 1,061,06 0,000,00 0,000,00 91,4191,41 2,252,25 0,130,13 5,155,15

E. praecoxE. praecox 747747 0,130,13 0,000,00 5,095,09 5,895,89 65,3365,33 8,978,97 14,5914,59

E. tenellaE. tenella 608608 0,660,66 0,000,00 2,962,96 0,160,16 5,105,10 70,2370,23 20,8920,89

E. necatrixE. necatrix 404404 7,187,18 0,000,00 0,990,99 5,695,69 6,196,19 18,3218,32 61,6361,63

Clasificador: por probabilidadClasificador: por probabilidadEstrategia de validación: Estrategia de validación: Leave-one-outLeave-one-outAcierto medio: Acierto medio: 80,10%80,10%

ResultadosResultados• Identificación de especies de Eimeria de gallina

Análisis comparativo del desempeño de los clasificadores

ResultadosResultados• Identificación de especies de Eimeria de gallina

Análisis del desempeño de los clasificadores por curvas ROC

E. acervulina E. maxima E. brunetti E. mitis

E. praecoxE. praecox E. tenellaE. tenella E. necatrixE. necatrix

Base deDatos

Repositório de imágenes

Aplicación y servidor Web

Sub-sistema de Análisis

Image_ID Nombre Metadatos

3578 Imágen1 dato1

3579 Imágen2 dato2

Visualización y envio de

imágenes

Usuario

Internet Link

Bas

e d

e D

ato

sA

plic

ac

ión

Clie

nte

Clasificación de patrones

Extracción de caractetísticas

Pre-Procesamiento

de imágenes

Análisis de Oocistos

Importación

Microscopio

Sub-sistema de importación

ResultadosResultados• Flujograma del sistema integrado (COCCIMORPH)

ResultadosResultados• Interfaz web

http://puma.icb.usp.br/coccimorph/

ResultadosResultados• Base de imágenes

Filograma inferido por Filograma inferido por máxima verosemejanza a máxima verosemejanza a partir de genomas partir de genomas mitocondriais de mitocondriais de EimeriaEimeria spp.spp.

E. coecicola

E. flavescens

E. necatrix

E. tenella

E. praecox

E. maxima

E. brunetti

E. mitis

E. acervulina

97

100

66

100

100

1000.02

Filograma inferido por Filograma inferido por Neighbor-joining con Neighbor-joining con datos morfométricosdatos morfométricos

E. acervulina

E. mitis

E. praecox

E. maxima

E. brunetti

E. tenella

E. necatrix0.1

92

64

100

97

Producción científicaProducción científica

ContenidoContenido

• IntroducciónIntroducción• Adquisición y pre-procesamiento de Adquisición y pre-procesamiento de

imágenesimágenes• Representación de formasRepresentación de formas• Clasificación y minería de datosClasificación y minería de datos• ResultadosResultados• Perspectivas futurasPerspectivas futuras

Perspectivas FuturasPerspectivas Futuras

• Segmentación automática.Segmentación automática.• Aprendizaje Aprendizaje onlineonline..• Aplicación del sistema a otros parásitos.Aplicación del sistema a otros parásitos.

Adaptación del sistema para parásitos cuya Adaptación del sistema para parásitos cuya morfología se encuadre em el mismo dominio morfología se encuadre em el mismo dominio de imágenes.de imágenes.

Adaptación del sistema para parásitos con Adaptación del sistema para parásitos con morfología muy diferente de morfología muy diferente de EimeriaEimeria spp. spp.

Otras AplicacionesOtras AplicacionesPredicción e Identificación de genes Predicción e Identificación de genes

aplicando dominio de frecuenciaaplicando dominio de frecuencia

Visualización de ProteinasVisualización de Proteinas

Predicción de estructura de proteinasPredicción de estructura de proteinas

Parallel Right-handed β-helix

Leucine-rich repeatsHemagglutinin

Eubacterial 70S

Secuencia Primaria MNGTEGPNFY VPFSNKTGVV RSPFEAPQYY LAEPWQFSML AAYMFLLIML GFPINFLTLY VTVQHKKLRT PLNYILLNLA VADLFMVFGG FTTTLYTSLH GYFVFGPTGC NLEGFFATLG GEIALWSLVV LAIERYVVVC KPMSNFRFGE NHAIMGVAFT WVMALACAAP PLVGWSRYIP EGMQCSCGID YYTPHEETNN ESFVIYMFVV HFIIPLIVIF FCYGQLVFTV KEAAAQQQES ATTQKAEKEV TRMVIIMVIA FLICWLPYAG VAFYIFTHQG SDFGPIFMTI PAFFAKTSAV YNPVIYIMMN KQFRNCMVTT LCCGKNPLGD DEASTTVSKT ETSQVAPA

Estructura 3D

Folding

Funcion compleja dentro de una red de proteinas

Normal

PROTEINASSecuencia Estructura Función

(Extraido de: Judith Klein-Seetharaman)

Secuencia primariaMNGTEGPNFY VPFSNKTGVV RSPFEAPQYY LAEPWQFSML AAYMFLLIML GFPINFLTLY VTVQHKKLRT PLNYILLNLA VADLFMVFGG FTTTLYTSLH GYFVFGPTGC NLEGFFATLG GEIALWSLVV LAIERYVVVC KPMSNFRFGE NHAIMGVAFT WVMALACAAP PLVGWSRYIP EGMQCSCGID YYTPHEETNN ESFVIYMFVV HFIIPLIVIF FCYGQLVFTV KEAAAQQQES ATTQKAEKEV TRMVIIMVIA FLICWLPYAG VAFYIFTHQG SDFGPIFMTI PAFFAKTSAV YNPVIYIMMN KQFRNCMVTT LCCGKNPLGD DEASTTVSKT ETSQVAPA

Estructura 3D

Folding

Función compleja dentro de red de proteinas

Enfermedad

PROTEINASSecuencia Estructura Función

Alineamiento y predicción: Alineamiento y predicción: ββ--HelixHelix

(Extraido de: Carbonell 2006)

Reconstrucción de Patrones de Reconstrucción de Patrones de Expresión Genética (Expresión Genética (Travençolo 2008Travençolo 2008))

Gestión de CuencasGestión de Cuencas

Equipo de Equipo de investigacióninvestigación

Propagación y purificación de parásitosPropagación y purificación de parásitosSandra Fernandez - ICB-USPJane Silveira Fraga - ICB-USP

OrientaciónOrientaciónProf. Dr. Arthur Gruber – ICB-USPProf. Dr. Luciano da Fontoura Costa – IFSC-USPProf. Dr. Carlos Alberto de B. Pereira – IME-USP

Soporte financieroSoporte financiero

CAPES - CAPES - Coordenação de Coordenação de Aperfeiçoamento de Pessoal de Nível Aperfeiçoamento de Pessoal de Nível SuperiorSuperior

CNPq – CNPq – Conselho Nacional de Conselho Nacional de Desenvolvimento Científico e Desenvolvimento Científico e TecnológicoTecnológico