CodeSyntax [2] Jornadas de Bibliotecas Digitales (JBiDi 2005) OAC: recolección y agregación de metadatos heterogéneos para un proveedor

CodeSyntaxCodeSyntaxwww.codesyntax.comwww.codesyntax.com [2] [2]

Jornadas de Bibliotecas Digitales (JBiDi 2005)Jornadas de Bibliotecas Digitales (JBiDi 2005)

OAC:OAC:recolección y agregación de recolección y agregación de metadatos heterogéneos para metadatos heterogéneos para un proveedor de servicios OAIun proveedor de servicios OAIDíaz, Jacob, Abaitua, Quintana, Fernández, Díaz, Jacob, Abaitua, Quintana, Fernández, Sánchez, EchebarríaSánchez, Echebarría[1][1] y Azpillaga y Azpillaga[2][2]

Universidad de DeustoUniversidad de Deusto[1] [1] www.deli.deusto.eswww.deli.deusto.es

OAC (JBiDi 2005)OAC (JBiDi 2005) 22DELi (UD) + CSDELi (UD) + CS

PresentaciónPresentación

• OAC: Open Archives CatalogerOAC: Open Archives Cataloger• implementación de OAI (Open Archives Initiative) para implementación de OAI (Open Archives Initiative) para

el servidor web Zopeel servidor web Zope• infraestructura básica de un gestor de recursos infraestructura básica de un gestor de recursos

heterogéneos (y sus metadatos) dirigido a OAIheterogéneos (y sus metadatos) dirigido a OAI

– Motivación inicialMotivación inicial– mejorar la gestión de metadatos de grandes corpora de mejorar la gestión de metadatos de grandes corpora de

documentos multilingües (DELi)documentos multilingües (DELi)

– aportar soluciones para la normalización de criterios de aportar soluciones para la normalización de criterios de catalogación (DELi + CodeSyntax)catalogación (DELi + CodeSyntax)

– difundir entre los agentes involucrados las bondades de difundir entre los agentes involucrados las bondades de compartir metadatos (DELi + CS)compartir metadatos (DELi + CS)


ÍndiceÍndice

• Fundamentos de OAIFundamentos de OAI

• OAC: implementación de OAI en ZopeOAC: implementación de OAI en Zope

• Casos de uso de OACCasos de uso de OAC

• Usos novedosos de OAIUsos novedosos de OAI• diseminación selectiva de metadatosdiseminación selectiva de metadatos• diseminación de metadatos por consultadiseminación de metadatos por consulta

• Perspectivas futuras y conclusionesPerspectivas futuras y conclusiones


>>

ÍndiceÍndice







recursosrecursos

proveedorproveedordinámicodinámicode datosde datos(ítems)(ítems)

proveedorproveedordede

serviciosservicios

repositoriorepositorio(registros)(registros)

recolectorrecolector

petición

petición

respuesta

respuesta

servidorservidor

protocoloprotocoloOAI-PMHOAI-PMH

Fundamentos de OAI: básicoFundamentos de OAI: básico


Fundamentos de OAI: completoFundamentos de OAI: completo

recursosrecursos

proveedorproveedordinámicodinámicode datosde datos(ítems)(ítems)

proveedorproveedordede

serviciosservicios


recolectorrecolector

servidorservidor

OAI-PMHOAI-PMH

proveedorproveedorestáticoestáticode datosde datos

(XML)(XML)

pasarelapasarelaestáticaestática

agregadoragregadorrecolectorrecolector


respu

esta

respu

esta

petició

np

etición

respu

esta

respu

esta

petició

np

etición

OAI-PMHOAI-PMH


Fundamentos de OAI:Fundamentos de OAI:el protocolo OAI-PMHel protocolo OAI-PMH

• Usa la arquitectura HTTPUsa la arquitectura HTTP• el recolector es una especie de navegador, que el recolector es una especie de navegador, que

envía una petición HTTPenvía una petición HTTP• el repositorio es un servidor web, que produce una el repositorio es un servidor web, que produce una

respuesta HTTP (específicamente en XML)respuesta HTTP (específicamente en XML)

• La petición habitual: deme sus registrosLa petición habitual: deme sus registros– http://foo.es/oai ? verb = ListRecords & ...http://foo.es/oai ? verb = ListRecords & ...

• La respuesta habitual:La respuesta habitual:– conjunto de registros (metadatos) en XMLconjunto de registros (metadatos) en XML


Fundamentos de OAI:Fundamentos de OAI:formatos de metadatosformatos de metadatos

• Recurso: “cualquier cosa con identidad”Recurso: “cualquier cosa con identidad”• Respuesta XML ha de seguir un esquemaRespuesta XML ha de seguir un esquema

• obligatorio: Dublin Core sin calificar, para asegurar la obligatorio: Dublin Core sin calificar, para asegurar la máxima interoperabilidadmáxima interoperabilidad

• opcional: otros formatos (BibTeX, EAD, MARC...), opcional: otros formatos (BibTeX, EAD, MARC...), siempre que exista el esquema XMLsiempre que exista el esquema XML

• ProblemasProblemas• conversión de otros formatos a Dublin Coreconversión de otros formatos a Dublin Core• existencia de esquema XML para un formato dadoexistencia de esquema XML para un formato dado• variabilidad entre formatos, adecuaciónvariabilidad entre formatos, adecuación


Fundamentos de OAI:Fundamentos de OAI:recolección selectiva (conjuntos)recolección selectiva (conjuntos)

• No es un enfoque de consulta (query)No es un enfoque de consulta (query)

• ConjuntosConjuntos• jerarquía hasta cualquier profundidadjerarquía hasta cualquier profundidad• un registro puede estar en 0 o más conjuntosun registro puede estar en 0 o más conjuntos• una petición puede hacerse a un conjuntouna petición puede hacerse a un conjunto

• A tener en cuentaA tener en cuenta• pedir todos los conjuntos puede no agotar el pedir todos los conjuntos puede no agotar el

repositorio y/o obtener numerosos duplicadosrepositorio y/o obtener numerosos duplicados• la jerarquía no tiene que ser una taxonomíala jerarquía no tiene que ser una taxonomía


>>

ÍndiceÍndice







OAC: Open Archives CatalogerOAC: Open Archives Cataloger

• Implementación de OAI en Zope: Implementación de OAI en Zope: zOACzOAC• producto de Zope (en fase final de desarrollo)producto de Zope (en fase final de desarrollo)• software libre (licencia GPL)software libre (licencia GPL)• http://sourceforge.net/projects/zoac/http://sourceforge.net/projects/zoac/

• Basada en el producto Basada en el producto ZOpenArchivesZOpenArchives• desarrollado por Pentila (http://www.pentila.com/)desarrollado por Pentila (http://www.pentila.com/)• ya incluía el repertorio básico de funciones:ya incluía el repertorio básico de funciones:

– recolector, agregadorrecolector, agregador– servidor de metadatos, proveedor dinámico de datos servidor de metadatos, proveedor dinámico de datos

(aunque con funcionalidad limitada)(aunque con funcionalidad limitada)


OAC: el producto zOACOAC: el producto zOAC

• Aspectos añadidos en Aspectos añadidos en zOACzOAC– pasarela estática, proveedor estático de datospasarela estática, proveedor estático de datos– mejora del servidor de metadatos y del mejora del servidor de metadatos y del

proveedor dinámico de datosproveedor dinámico de datos• adaptación a objetos Zope específicosadaptación a objetos Zope específicos• gestión de formatos de metadatos diversosgestión de formatos de metadatos diversos

– proveedor de servicios, mejora del agregadorproveedor de servicios, mejora del agregador– gestión de suscripcionesgestión de suscripciones– interfaces de administración webinterfaces de administración web


OAC: formatos de metadatosOAC: formatos de metadatos

• zOACzOAC: formatos de metadatos soportados: formatos de metadatos soportados• Dublin Core sin calificar y calificadoDublin Core sin calificar y calificado

• BibTeX, TEI, MARCBibTeX, TEI, MARC

• Solución: lenguaje neutro de metadatosSolución: lenguaje neutro de metadatos– superconjunto de metadatos (unión semántica, superconjunto de metadatos (unión semántica,

sin repetición de metadatos con la misma info)sin repetición de metadatos con la misma info)• similar a similar a lingua francalingua franca de Chan y Zeng [2004, 2005] de Chan y Zeng [2004, 2005]

• evita duplicar metadatosevita duplicar metadatos

• asegura tanto la importación como la exportación a asegura tanto la importación como la exportación a los formatos soportadoslos formatos soportados


OAC: gestor de recursosOAC: gestor de recursos

• zOACzOAC: infraestructura básica de un gestor : infraestructura básica de un gestor de recursos dirigido a OAIde recursos dirigido a OAI– gestor de recursos = proveedor de datos OAIgestor de recursos = proveedor de datos OAI

• posibilita añadir nuevos objetos Zope (recursos posibilita añadir nuevos objetos Zope (recursos heterogéneos) y describirlos con metadatosheterogéneos) y describirlos con metadatos

• los recursos y sus metadatos se reflejan los recursos y sus metadatos se reflejan automáticamente en el repositorio OAI a diseminarautomáticamente en el repositorio OAI a diseminar

– el prov. de servicios usa la misma arquitecturael prov. de servicios usa la misma arquitectura• las funciones del gestor de recursos y de Zope las funciones del gestor de recursos y de Zope

pueden usarse para las aplicacionespueden usarse para las aplicaciones


>>

ÍndiceÍndice







Casos de uso de OACCasos de uso de OAC

• SARE-Bi (versión 2)SARE-Bi (versión 2)• gestor documental de textos multilingües (v1, 2002) gestor documental de textos multilingües (v1, 2002)

segmentados y alineados, y que pueden usarse segmentados y alineados, y que pueden usarse como memorias de traducción (TMX)como memorias de traducción (TMX)

• la “base de datos” son objetos Zope de diferentes la “base de datos” son objetos Zope de diferentes clases; algunos llevan asociados metadatos clases; algunos llevan asociados metadatos (derivados del estándar TEI)(derivados del estándar TEI)

• OAI/zOAC permite de forma inmediata la OAI/zOAC permite de forma inmediata la diseminación de los metadatos, de los segmentos y diseminación de los metadatos, de los segmentos y de las memorias de traducción, aportando un grado de las memorias de traducción, aportando un grado adicional de flexibilidadadicional de flexibilidad


Casos de uso de OACCasos de uso de OAC

• Gestión de publicaciones de DELiGestión de publicaciones de DELi• zOAC puede adaptarse de forma sencilla a la zOAC puede adaptarse de forma sencilla a la

gestión de publicaciones académicasgestión de publicaciones académicas• se utiliza BibTeX como formato de metadatos de se utiliza BibTeX como formato de metadatos de

referenciareferencia• interfaz de administración específica, adaptada a la interfaz de administración específica, adaptada a la

gestión de referenciasgestión de referencias• convertir el gestor de publicaciones en un convertir el gestor de publicaciones en un

proveedor de datos OAI facilita su aprovechamiento proveedor de datos OAI facilita su aprovechamiento (bibliografías, curricula...)(bibliografías, curricula...)


>>

ÍndiceÍndice







Usos novedosos de OAIUsos novedosos de OAI

• Petición OAI a un proveedor de datosPetición OAI a un proveedor de datos• http://foo.es / pub / oai ? ...http://foo.es / pub / oai ? ...

• Diseminación selectiva de metadatosDiseminación selectiva de metadatos• http://foo.es / pub / es / oai ? ...http://foo.es / pub / es / oai ? ...• http://foo.es / pub / paper / oai ? ...http://foo.es / pub / paper / oai ? ...• basada en los mecanismos de herencia y basada en los mecanismos de herencia y

adquisición de Zopeadquisición de Zope• ““oai” sigue siendo el repositorio estándar OAI-PMHoai” sigue siendo el repositorio estándar OAI-PMH• recuerda a la recolección selectiva (conjuntos) de recuerda a la recolección selectiva (conjuntos) de

OAI, pero sin la funcionalidad completaOAI, pero sin la funcionalidad completa


Usos novedosos de OAIUsos novedosos de OAI

• Diseminación de metadatos por consultaDiseminación de metadatos por consulta• http://foo.es / pub / gomez / paper / es / oai ? ...http://foo.es / pub / gomez / paper / es / oai ? ...• independiente de la organización de la base de independiente de la organización de la base de

datos documentaldatos documental• implementada mediante “filtros” asociados al implementada mediante “filtros” asociados al

proveedor de datosproveedor de datos• aunque no aporta la funcionalidad completa de un aunque no aporta la funcionalidad completa de un

lenguaje de consultas, tiene aplicacioneslenguaje de consultas, tiene aplicaciones• ““oai” sigue siendo el repositorio estándar OAI-PMHoai” sigue siendo el repositorio estándar OAI-PMH


>>

ÍndiceÍndice







Perspectivas futurasPerspectivas futuras

• OAC-onto: aplicación de ontologías de OAC-onto: aplicación de ontologías de metadatos bibliográficosmetadatos bibliográficos

• para potenciar el uso de catálogos y facilitar el para potenciar el uso de catálogos y facilitar el descubrimiento de informacióndescubrimiento de información

• existen ontologías para BibTeX y Dublin Coreexisten ontologías para BibTeX y Dublin Core• no se tiene noticia de ontologías temáticas, basadas no se tiene noticia de ontologías temáticas, basadas

en esquemas clasificatorios de contenidos (como en esquemas clasificatorios de contenidos (como LCC/LCSH, DDC, UDC, IFLA y otros)LCC/LCSH, DDC, UDC, IFLA y otros)

• ¿bastaría una ontología de metadatos estructurales ¿bastaría una ontología de metadatos estructurales (BibTeX/DC) en conjunción con mecanismos de (BibTeX/DC) en conjunción con mecanismos de consulta conocidos (DBLP, Citeseer...)?consulta conocidos (DBLP, Citeseer...)?


ConclusionesConclusiones

• Relevancia de la funcionalidad OAIRelevancia de la funcionalidad OAI– a considerar en el diseño de sistemas de gestión a considerar en el diseño de sistemas de gestión

documental accesibles por webdocumental accesibles por web

• Adecuación de Zope como soporteAdecuación de Zope como soporte– tanto del gestor de recursostanto del gestor de recursos– como de la arquitectura OAIcomo de la arquitectura OAI

• Producto zOACProducto zOAC– en fase final de desarrolloen fase final de desarrollo– software libresoftware libre


ConclusionesConclusiones

• OAC ha sido subvencionado porOAC ha sido subvencionado por– Gobierno VascoGobierno Vasco

• Dept. de Industria (proyectos OAC y OAC-onto,Dept. de Industria (proyectos OAC y OAC-onto,oct. 2003-dic. 2005)oct. 2003-dic. 2005)

– CodeSyntax (Eibar, Spain)CodeSyntax (Eibar, Spain)

• AgradecimientosAgradecimientos– Gari Araolaza, Eneko Astigarraga, Luistxo Gari Araolaza, Eneko Astigarraga, Luistxo

Fernández (CodeSyntax)Fernández (CodeSyntax)

CodeSyntaxCodeSyntaxwww.codesyntax.comwww.codesyntax.com [2] [2]

Jornadas de Bibliotecas Digitales (JBiDi 2005)Jornadas de Bibliotecas Digitales (JBiDi 2005)

OAC:OAC:recolección y agregación de recolección y agregación de metadatos heterogéneos para metadatos heterogéneos para un proveedor de servicios OAIun proveedor de servicios OAIDíaz, Jacob, Abaitua, Quintana, Fernández, Díaz, Jacob, Abaitua, Quintana, Fernández, Sánchez, EchebarríaSánchez, Echebarría[1][1] y Azpillaga y Azpillaga[2][2]

Universidad de DeustoUniversidad de Deusto[1] [1] www.deli.deusto.eswww.deli.deusto.es

Documents

CodeSyntax [2] Jornadas de Bibliotecas Digitales (JBiDi 2005) OAC: recolección y agregación de metadatos heterogéneos para un proveedor