IntroduccióN A La Multimedia (Mpeg7)
Preview:
DESCRIPTION
Descripción y análisis del funcionamiento de MPEG7
Citation preview
- 1. Introduccin a la Multimedia (MPEG7)
- 2. Revisin del MPEG-7
-
- Introduccin: Objetivos del M^PEG-7
- 3. Revisin del MPEG-7
-
- Introduccin: Objetivo del MPEG-7
-
- Alcance del MPEG-7: Partes y Plan de trabajo
- 4. Introduccin
- Cada vez ms y ms informacin audiovisual se encuentra disponible
en lnea en formato digital.
-
- Imgenes fijas, grficos, modelos 3D, audio, voz, video,
etc.
- Las aplicaciones y los servicios se estn volviendo multimedia e
interactivos.
- Existe un incremento en el material multimedia.
- Se crea una necesidad acerca del contenido para:
-
- administrar la informacin
-
- encontrar, seleccionar y filtrar los contenidos.
-
- utilizar el contenido a travs de sistemas computacionales y
agentes.
- 5. Objetivo del MPEG-7
- Nuevos objetivos del MPEG
-
- MPEG-1, -2, y -4 representan el contenido en s
-
- MPEG-7 representa informacin acerca del contenido.
-
-
- los bits que hablan de los bits.
- Estandarizar la descripcin basada en contenido para los
diferentes tipos de informacin audiovisual.
-
- Permitir una bsqueda rpida y eficiente, filtrado e
identificacin de contenidos.
-
- Describir algunos aspectos del contenido (caractersticas de
bajo nivel, estructura, semntica, modelos, colecciones, creacin,
etc.)
-
- Ser base para las futuras aplicaciones
- 6. Data Audiovisual
- La mayora de datos de tipo audiovisual son considerados:
-
- imgenes fijas, video, grficos, modelos en 3D.
-
- informacin de como los objetos estn combinadas en las
escenas.
- Descripcin independiente del soporte de la data audiovisual
(analogua, digital)
- Las descripciones pueden ser asociadas con partes (objetos,
segmentos espaciales, segmentos temporales) de la data audiovisual
completa.
- 7. Tipos de peticiones
- Texto (texto libre, vocabularios controlados, keywords)
-
- Encontrar material AV con contenido correspondiente a algunos
keywords
-
- Encontrar material AV con contenido correspondiente a una
semntica especificada
- Audio: unas notas musicales (caractersticas de rtmo y
meloda)
-
- Encontrar la correspondiente pieza musical o pelcula.
- Video: trayectoria de movimiento (caractersticas de video de
bajo nivel)
-
- Encontrar video con una trayectoria de un objeto especfica
(e.g. movimientos similares de jugadores de futbol)
- 8. Tipos de peticiones
-
- Encontar una imagen con caractersticas globales o locales
similares.
- 9. Descripcin de contenido
- Informacin acerca del contenido
-
- Ttulo, autor, derechos de autor, condiciones de acceso,
perfiles, formato de cdigo, gnero, enlaces a material relacionado,
etc.
- Informacin presente en el contenido.
-
- Caractersitcas de bajo nivel que permiten la extraccin
automtica tal como: (Video) color, textura, forma, posicin,
movimiento, y (Audio) tiempo, timbre, emocin, etc.
-
- Caractersticas de alto nivel (semntica) relacionadas a la
interpretacin del contenido: un nio recogiendo flores para su madre
mientras el perro juega a su alrededor, Un crepsculo hermoso visto
desde la orilla de una baha, etc.
- 10. Aplicaciones
- Tocar unas cuantas notas en un teclado y obtener una lista de
las piezas musicales similares al tono requerido, o imgenes que
contengan las notas en cierta manera, e.g. en trminos de
emocin.
- Dibujar unas cuantas lneas en la pantalla y obtener un grupo de
imgenes que contengan grficos similares.
- Describir acciones y obtener una lista de escenarios
conteniendo esas acciones.
- Usando un extracto de la voz de Pavarotti, se puede obtener una
lista sus grabaciones, video clips y material fotogrfico.
- 11. Tipos de aplicaciones
- Aplicaciones tipo Pull: Explorar y buscar
-
- Motores de bsqueda para internet y base de datos multimedia en
internet.
-
- Motores de bsqueda que trabajen con descripciones
estandarizadas.
- Aplicaciones tipo Push : Filtrado y seleccin automtica
-
- Agentes inteligentes que filtren descripciones
estandarizadas.
-
- Agentes inteligentes que tomen decisiones basados en
descripciones estandarizadas.
- 12. reas de aplicacin
- Seleccin de material multimedia de difusin (e.g. radio,
TV)
- Arquitectura y diseo de interiores (e.g. para buscar nuevas
ideas)
- Servicios culturales (museos de historia, galeras de arte,
etc)
- Bibliotecas digitales (e.g. catlogo de imgenes, diccionario de
msica, etc)
- E-Commerce (e.g. publicidad personalizada, catlogos en lnea,
etc)
- Educacin (e.g. Bsqueda multimedia de material de estudio)
- Edicin multimedia (e.g. servicio de noticias
personalizadas)
- 13. Revisin del MPEG-7
-
- Introduccin: Objetivo del MPEG-7
- 14. Alcance del MPEG-7
- La generacin de la descripcin (extraccin de caractersticas,
indexar procesos, herramientas de anotaciones, etc.) y consumo
(motores de bsqueda, herramientas de filtrado, dispositivos de
exploracin, etc), son partes no normadas del MPEG-7.
- El objetivo es definir lo mnimo que garantice
interoperabilidad.
Description consumption Description Description generation Scope of
MPEG-7 Research and future competition
- 15. Flujo de informacin
- El contenido y su descripcin pueden ser multiplexados
Usuario y sistemas computacionales Storage Browse AV Description
Feature extraction Manual / automatico Transmission Codificacin
(para transmision) Decodificacin (para almacenamiento) Filter Push
Search / query Pull Conf. points
- 16. reas de trabajo del MPEG-7 Descriptors: (Sintaxis y
semntica de la representacin de caracterstica) D7 D2 D5 D6 D4 D1 D9
D8 D10 D3 Tags < scene id=1> < time> .... <
camera>.. < annotation Instantiation 10101 1 0 Encoding &
Delivery Language Description Definition extension Definition
Description Schemes D1 D3 D2 D5 D4 D6 DS2 DS3 DS1 DS4
Structuring
- 17. Partes del MPEG-7
- ISO / IEC 15938 - 1: Sistemas
- ISO / IEC 15938 - 2: Description Definition Language
- ISO / IEC 15938 - 3: Visual
- ISO / IEC 15938 - 4: Audio
- ISO / IEC 15938 - 5: Multimedia Description Schemes
- ISO / IEC 15938 - 6: Software de referencia
- ISO / IEC 15938 - 7: Conformance
- ISO / IEC 15938 - 8: Extraccin y utilizacin
- 18. MPEG-7: El Plan de trabajo
- Definicin de los alcances y los requerimientos
2001 2000 1999 1998 1996
Call for proposals Working draft Committee draft Draft
international standard Final committee draft International
standard
- 19. Revisin del MPEG-7
-
- Introduccin: Objetivo del MPEG-7
-
- Alcance del MPEG-7: partes y plan de trabajo
-
-
- Herramientas de descripcin
-
-
- Description Definition Language
- 20. Componentes del MPEG-7
- Herramientas de descripcin
- Description Definition Language
-
- Definicin de herramientas de descripcin y extensiones
-
- Descripciones textuales codificadas (XML)
-
- Descripciones binarias codificadas (BiM)
- 21. Herramientas de descricpcin del MPEG-7 Esquemas de
descripcin (estructura) and Descriptores (caractersticas)
- 22. Elementos bsicos Estructuras matemticas y tipos de datos
Anotacin textual Trminos, trminos controlados, y esquemas de
clasificacin Lenguaje, persona y lugar Informacin temporal
Localizador de media Identificador nico Referencia
- 23. Herramientas de esquema Mpeg7Main and Mpeg7Unit Video,
Audio, Imagen, Descripcion de contenido, Contenido Administracin,
coleccin, usuario Estructurado en pa- quetes o carpetas para
motores de bsqueda y aplicaciones
- 24. Administracin de contenido Ttulo, creador, gnero, tema,
idioma Revisin de media Material relacionado Aspectos financieros
Periodos de disponibilidad Compresion, codificacin y
almacenamiento
- 25. Descripcin del contenido Estrucutura espacial-temporal Ds
de bajo nivel audio, y video anotaciones textuales (semntica
elemental Objetos y eventos Conceptos abstractos Relaciones
- 26. Descripcin del contenido: descriptores audiovisuales de
bajo nivel
Video segments Still regions Moving regions Audio segments
- Spectral characterization
- 27. Navegacin y acceso Soporte eficiente para descubrimiento,
exploracin, navegacin, visualizacin. Modos jerrquicos Descomposicin
en espacio-tiempo y en frecuencia Resmenes Adaptacin al terminal, a
la red o a las preferencias de usuario
- 28. Organizacin de contenido Contenidos de grupos AV, segmento,
eventos u objetos dentro de grupos de coleccin. Elementos de
propiedades comunes Herramientas para el modelamiento de atributos
y caractersticas del contenido AV. Modelos probabilsticos y
analticos
- 29. Interaccin de usuario Identificacin de usuario para un
acceso, presentacin y consumo del contenido AV Historial del
consume del contenido AV por un usuario durante un periodo de
tiempo Ayuda a determinar las preferencias de usuario
- 30. Uso de las herramientas de descripcin
- Librera de herramientas de descripcin estandarizadas.
- El DDL puede ser utilizado para manejar necesidades especficas
de la aplicacin.
-
- Extensiones: Herramientas de descripcin de aplicacin.
- 31. DDL del MPEG-7
- ... un lenguaje que permite la creacin de nuevos esquemas de
descripcin, y posiblemente, descriptores. ste permite adems la
extensin y modificacin de los esquemas de descripcin
existentes.
- Description Definition Language:
-
- Definicin de los Ds y DSs:
-
-
- Esquema XML (Estructura y tipo de datos) + extensiones
MPEG-7
-
- Permite definir nuevas entidades.
- 32. Sistemas del MPEG-7
- Las herramientas del sistema permiten:
-
- Transporte y almacenamiento eficiente de descripciones
MPEG-7
-
-
- Binarizacin del DDL para transporte y entrega Error
resilience
-
- Sincronizacin entre descripcin y contenido
-
- Administracin y proteccin de la propiedad intelectual
(IPMP)
- 33. MPEG-7 Arquitectura de terminal
- Entidad que hace uso de las descripciones MPEG-7
-
-
- informacin de descricpcin
- 34. MPEG-7 eXperimentation Model (XM)
- XM: Software de referencia MPEG-7
-
- Plataforma de simulacin para los Ds, DSs, CSs, y DDL del
MPEG-7.
-
-
- Aplicaciones servidore: extraccion
-
-
- Aplicaciones cliente: Bsqueda y filtrado
- 35. MPEG-7 XM Architecture
- 36. Revisin del MPEG-7
-
- Introduccin: Objetivo del MPEG-7
- 37. Conclusiones
- MPEG-7: Descripcin de contenido AV para interoperabilidad
-
- Herramientas de descripcin: Descriptores y Esquemas de
Descripcion
-
-
- Librera de heramientas de descripcin
-
-
- Cubre un gran rango de necesidades genricas
-
-
- Perfiles bajo consideracin
-
- Description Definition Language:
-
-
- Esquema XML Schema mas extensiones
-
-
- Definicin de herramientas de descripcin MPEG-7
-
-
- XML: formato textual (flexibilidad)
-
-
- BiM: formato binario (eficiencia)
-
-
- Arquitectura de terminal, unidades de acceso, software de
referencia.