Interacción basada en webcam
Joaquín Fonoll [email protected]
Ambrosio Gassol [email protected]
Generalitat de CatalunyaDepartament d'EducacióÀrea TIC Projectes TIC per a l’Educació
http://www.xtec.cat/dnee/udc/
SiMuove
Programa causa efecto que responde a los movimientos captados por la webcam
• Minimiza el esfuerzo físico y la complejidad
del interfaz
• Entorno sencillo no requiere cables ni
soportes
• Programa editable que se puede
personalizar
http://www.xtec.net/dnee/udc/act_simuove.htm
SiMuove Estructura del programa
Zonas o botones en la pantalla que se activan “toca rlos”
• Carrusel de imágenes y sonidos que se suceden.
– Avanzan con el movimiento Retroceden al quedarse quieto
• Efecto “croma” que genera transparencias
• Puede
– Graduar la sensibilidad para avanzar o retroceder
– Crear una secuencia de ejercicios– Declarar una combinación de imágenes como solución (refuerzo
final)
SiMuove Aspectos técnicos
Cámara de vídeo digital ( 15 fps)
– WebCam A distancia corta ( < 1,5 m) WebCam– Cámara de Vídeo Digital a distancia media ( > 2 m)
– Vídeo vigilancia a larga distancia
Windows XP o Suse 10
Programes específicos para Windows o Linux
Paquetes de ejercicios
Tecnología de detección de movimiento restando fotogramas sucesivos
SiMuove Animaciones
Trabaja:
• Ejercicio de causa- efecto
• Amplifica el movimiento
• Estimula la motricidad
• Ejercita la coordinación viso motriz
Las imágenes de la pantalla se animan con nuestros movimientos
SiMuove Adivina
Se muestra paso a paso la construcción de un objeto que hay que adivinar
Trabaja:
• Ejercicio de lengua oral
• Estimula la observación y la expresión
• Trabaja la lógica y el pensamiento hipotético
SiMuove Disfrazar
Fotomatón que combina la imagen real con un disfraz
Hay dos modos de trabajar:
• Exploración de las imágenes
• Selección voluntaria
Trabaja:
• Actividad lúdica
• Control postural de la cabeza
• Expresión facial
• Léxico, memoria, numeración
•Direccionalidad
SiMuove Carreras de coches
Simula la conducción de un coche que avanza con nuestros movimientos
Ejercita
• Control postural
• Estimula la atención y la motricidad
• Trabajo en equipo
SiMuove Simetrías
Hay que encontrar dos mitades de una misma fotografía moviendo las manos
Ejercita
• Lateralidad derecha / izquierda
• Coordinación extremidades
• Percepción de las formas
• Memoria visual
SiMuove – Interfaz -Educación
Aspectos educativos de la nueva interfaz con webcam
• Interacción muy simple al accesible a un mayor número de usuarios
• No requiere manejar ningún periférico. El ordenador es una extensión del propio cuerpo que responde incluso a los movimientos involuntarios
• No requiere estar sentado frente al ordenador sino dentro del campo visual que podemos modificar con el enfoque
• Amplificación del efecto motor dotándole de signific ado
• Integración de la propia imagen en un entorno virtual ( autocontrol y estimulación)
Ideas fuerza
1. El ordenador debe ofrecer nuevas oportunidades para la educación, especialmente allí donde esta ha conseguido menos resultados.
2. Algunos de los contenidos que se trabajan en la escuela desborda el uso habitual del ordenador pensado para el trabajo de oficina.
3. Si superamos el paradigma del teclado y la pantalla como interfaz del ordenador podremos atender a nuevos contenidos y usuarios
Antecedentes de SiMuove
SiMuove es el resultado de un largo proceso
1987 PIE Programa de Informatica Educativa
1990 Tauleta Sensible - Tswin
1993 Pantalla Táctil - Tpwin
1997 TocaToca Causa-Efecto
2003 Dance Pad – Alfombra de baile
2000 Proyecto Fressa - J Lagares
2004 Webcolor - Cesar Mauri, DanceMusic
2006 SiMuove, WebcolorToy, Emulator....
1996 SDNEE Seminario de Actualización en TIC para la diversidad y las NEE
1987 PIE Programa de Informática Educativa –Generalitat de Catalunya
Objetivo
Introducir la informática en el sistema educativo de Cataluña
Nuestro trabajo se caracteriza por
• Ámbito educativo
• Próximos a la demanda del usuario
• Equipo muy reducido
• Limitaciones tecnológicas
1990 Teclados de conceptos
Tableta digitalizadora 120 x 120 pixels y 32 x 32 cm
• Acceso alternativo al teclado para el parvulario y las NEE (no existían los ratones)
• Se conceptualiza como teclado expandido programable
• Mapa físico asociado a comandos del ordenador
Desarrollos
• Resolver el interfaz gráfico con el usuario (pictogramas)
• Software: Tswin , un gestor y mas de 100 aplicaciones educativas
• Producción y distribución digital de todos los materiales
1993 pantalla táctil y teclados virtuales
• Limitaciones físicas de la pantalla
• Aplicaciones restringidas
• Tpwin conversión del teclado de conceptos en teclado virtual
1997 TocaToca Causa Efecto
Los programas de causa - efecto el inicio de la comunicación persona / ordenador , persona / persona
Simplificar el entorno y las actividades
• Estimulo: textual y multimedia• Acción: teclado, ratón y otros• Reacción: textual y multimedia
Joaquin Fonoll [email protected]
TocaToca wwwTocaToca www ..xtecxtec .es.es\\~~jfonolljfonoll \\tocatocatocatoca \\
EstímuloPregunta
Esquema
Acción respuesta
Refuerzo Positivo Negativo
Antes de la acción
Imagen , sonido, texto, color,
Imagen , sonido, texto, color,
Después de la acción
Teclado
Ramón
Voz
Joystic
19971999 2002 2004
Tecnología de reconocimiento del sonido
• Globus visualización del sonido
• Recofone reconocimiento de fonemas
• Control del mouse por voz
2000 Proyecto Fressa www.lagares.org
2003 Tapiz de danza, sonido
Uso de periféricos procedentes de los videojuegos
• Integración en las herramientas desarrolladas anteriormente
• Estabilidad en los diseños
• Economía: Aprovechamiento de recursos y aplicaciones
2004 Webcolor Cesar Mauri
Control mediante Webcam basado en tecnología de visión artificial que identifica una marca de color de color y retorna las coordenadas.
• Desarrollado por http://www.crea-si.com
• Se compone de
– Api de programación (DLL)
– Pulsador, mouse y joystic virtual
– Ejemplos de programación
– Utiliza un objeto de color como cursor
– Hay que entrenar el sistema
– Interferencias con los colores del fondo
2006 WebColorToy Jordi Sanchez
Control mediante Webcam basado en un sistema de detección de movimiento.
• Se “restan” dos fotogramas consecutivos y retorna, para un área, un índice de cambio
•No requiere preparación
• Ofrece menor precisión
• Sistema compatible Linux y Windows Incluye una DLL
• Desarrollado en GPL
Estado de la cuestiónAlgunos usuarios no pueden utilizar el ordenador con el interfaz actual. Las alternativas resultan costosas o aparatosas.
Algunos contenidos propios de la estimulación temprana, la discapacidad, etc podrían informatizarse pero no con la interfaz actual.
Estrategia• Ayudas Técnicas : Emulación de los periféricos estándar• Integración en programas anteriores : economía de esfuerzos • Desarrollo de nuevos ejercicios : optimización de prestaciones
Para crear una nueva interfaz disponemos:• Programas abiertos, con múltiples ejercicios, que responden a
diferentes necesidades educativas• Un sistema de acceso de bajo coste basado en técnicas
elementales de visión artificial. Empleamos dos tecnologías• Reconocimiento del movimiento• Reconocimiento del color
Emulator I (Ayuda Técnica )
Modifica la interfaz de cualquier programa
Funciona con la webcam mediante técnicas de reconocimiento de color o de movimiento.
• Clic por tiempo con señales visuales y acústicas.
• Muestra en transparencia la imagen de la webcam
• Versión Windows y Linux
Ventajas
• Flexibilidad para diversos usuarios
• Pocas averías mecánicas
Inconvenientes
• Sistema no estándar no siempre aceptado por el usuario
• No tiene respuesta mecánica
http://www.xtec.cat/dnee/udc/
Un mismo programa lo podemos utilizar como
• Pulsador hace clic sobre el programa activo mostrado o ocultando un color
• Ratón sitúa el puntero de la pantalla directamente allá donde señala el cursor de color.
- poca precisión (semejante a una pantalla táctil)
- requiere entrenamiento ( nos salimos de campo)
- actúa a distancias alejadas
• Joystick desplaza en puntero en la dirección que señalamos
• Tablero de conceptos A partir de una impresión de la pantalla al señalar el papel situamos el cursor de la pantalla
Emulator 2 (Ayuda Técnica ) http://www.xtec.cat/dnee/udc/
Mapea el campo visión de la webcam creando zonas a las que se asignan comandos.
Permite convertir en interactivo cualquier espacio
Funciona con tecnología de color
Emula la Tauleta Sensible
Sustituimos el dispositivo físico por la webcam.
Mejora la respuesta, se reduce el precio y podemos
• variar el tamaño de la lámina
• aprovechar los materiales anteriores
Tswin
Problemas para ajustar:
• Las posiciones reales al mapa virtual
• Los movimientos reales 3D sobre un plano 2D
http://www.xtec.net/recursos/tauleta
TocaToca
Programa para realizar ejercicios de causa efecto, compatibles con diversos periféricos.El campo de visión de la webcam se divide en zonas. Puede funcionar por detección de color y de movimiento
http://www.jfonoll.cat/
• Se activa con movimientos corporales
• Combinación de objetos reales con situaciones virtuales
•Chutar a portería • Bolos en la pantalla• Puntería
• Actividades de estimulación, motricidad,..
Dificultad para:
• tocar unas zonas sin invadir otras
• ubicarse dentro del campo visual de la webcam
SiMuove
Juego de causa efecto muy simple
• entorno de autor que permite situar varios objetos/ secuencias de imágenes, en la pantalla
• al tocar alguno de los objetos estos cambian la imagen
• una determinada combinación puede producir un efecto final
http://www.xtec.cat/dnee/udc/
• la persona puede verse integrada en la imagen
• puede funcionar con el ratón
Aspectos pedagógicos
• actividad de estimulación y control motor
• el tamaño y numero de objetos determina la dificultad
• con un objeto que ocupe toda la pantalla cualquier movimiento produce un cambio
• con objetos pequeños se requiere precisión
WebColorToy
Juego que muestra varios objetos en movimiento. Debemos atrapar algunos y evitar otros
• entorno de autor que permite situar varios objetos, sus movimientos y las normas del juego
• el juego se estructura en niveles y da vidas y puntos
• la persona puede verse integrada en la imagen
http://www.xtec.cat/dnee/udc/
Aspectos pedagógicos
• actividad de observación, discriminación y control motriz.
• el tamaño y número de objetos determina la dificultad.
• el tipo de objetos ( figuras, formas, letras, colores) y las reglas del juego determinan el objetivo de la actividad
• facilita retomar contenidos pedagógicos tradicionales (discriminación de letras o figuras) mediante actividades más físicas.
DanceMusic
Programa que genera notas musicales a partir del movimiento de un cursor de color.
• Combina un generador MIDI con el webcolor
• Existen opciones para escoger diferentes instrumentos
• Funciona con el ratón y el joystic
Aspectos pedagógicos
• Los alumnos exploran un escenario sonoro mediante movimientos físicos.
• Permite desarrollar actividades de estimulación, psicomotricidad, danza y música.
• Actividad de coordinación auditiva y motor
•Permite actividades en espacios de mesa, aula o patio. Actividades individuales o juegos de grupo. Sobre el plano vertical u horizontal.
• Lo importante no ocurre en el ordenador sino en el alumno.
http://www.xtec.cat/dnee/udc/
El programa “esconde” un objeto que debemos encontrar, siguiendo sus instrucciones, moviendo nuestro cursor de color.
Al encontrarlo obtenemos un refuerzo visual y auditivo
• Las instrucciones/ orientaciones son - auditivas - mediante ordenes izquierda derecha arriba abajo, - por intensidad i frecuencia de sonido
• Entorno programable podemos variar las imágenes y sonidos que utilizamos como refuerzo final.
Frio y caliente
Aspectos pedagógicos
•Trabaja la atención, la orientación en el espació, la discriminación auditiva.
• Permite actividades en espacios amplios o reducidos.
• Exige rigor en el control del movimiento para resolver el ejercicio.
http://www.xtec.cat/dnee/udc/
La webcam como interfaz
El nuevo paradigma de interfaz
• Interacción sin esfuerzo ni contactó físico. El cuerpo como periférico
• Efecto escala que permite trabajar en grandes espacios la gran motricidad y en espacios reducidos la motricidad fina
• Nuevas actividades que no requieren estar sentados frente al ordenador
Nuevas utilidades educativas
• Trabajar la motricidad / rehabilitación
• Entornos auditivos no visuales
• Creación de entornos para el control postural, la expresión emocional, motricidad fina y gruesa, ...
Perspectibas de futuro
Disponemos
• Tecnología de bajo coste
• Biblioteca de activiades educativas.
• API de programación que gestiona el control de la webcam
Proyectos de futuro
• Posibilidad de controlar 2 o mas cámaras y mas colores
• Sistema de reconocimiento de formas
• Instalaciones que incluyen camaras robotizadas y sistemas de control
Interacción basada en webcam
Joaquin Fonoll [email protected]
Ambrosio Gassol [email protected]
Jordi Sanchez [email protected]
http://www.xtec.cat/dnee/udc/