INTERFAZ GRÁFICO DE USUARIO CON CONTROL TÁCTIL PARA JUEGOS MUSICALES MULTIJUGADOR GPL
Realizado por: José Jaime ArizaDirigido por: Cristina Urdiales García
Departamento de Tecnología ElectrónicaUniversidad de Málaga
2
ÍNDICE
● Introducción y objetivos
● Estructura
● Canción a interpretar
● Interfaces de entrada
● Pruebas y resultados
● Conclusiones y líneas futuras
3
Videojuegos de ritmo
La música, protagonista de
videojuegos.
4
Canciones disponibles
Catálogo reducido
Centradas en jugabilidad
Añadir propias
Contenido más musical
Dificultad para añadir
propias
Adición automatizada
5
Interfaces disponibles
6
Objetivos del PFC
● Flexibilizar y automatizar la incorporación
de canciones.
● Utilizar las interfaces existentes como
imitación de instrumentos musicales.
● Verificación de la ejecución de las
canciones.
7
Fuentes de sonido
● Dos fuentes de sonido: MIDI y MP3.
● MIDI, sonido no sintetizado. Representación digital de una partitura.
Almacenable en archivos SMF.
Verificación.
● MP3, sonido digitalizado. Respaldo sonoro.
8
ÍNDICE
● Introducción y objetivos
● Estructura
● Canción a interpretar
● Interfaces de entrada
● Pruebas y resultados
● Conclusiones y líneas futuras
9
Descripción funcional
MP3 MIDI Mandos
Obtenciónde notas
Traslacióna notas
Evaluación
GUI
Generadorde efectos
Audio
Tie
mpo
Notas
Resultados
10
Descripción arquitectónica
Audiotask GUItask Inputtask
Intelitask
11
Máquina de estados
SelDif
Juego
Resultado
SelSong
Postmenú
Inicio
Acerca
Presentación
Configuración
12
ÍNDICE
● Introducción y objetivos
● Estructura
● Canción a interpretar
● Interfaces de entrada
● Pruebas y resultados
● Conclusiones y líneas futuras
13
Origen de la canción
SMF Partitura Audio
OMR Procesado
MIDI
Recorte
Secuencia de juego
Procesado
Pseudonotas
SMF
MIDI
Recorte
Secuencia de juego
14
Extracción de pseudonotas
● Método basado en moda. Recuento de notas y selección de las más habituales.
Considerando la octava o sin considerarla.
Distinto número de notas según dificultad.
● Método basado en tonalidad. Extracción de tonalidad y formación de acordes.
Distintos acordes (número de notas) según dificultad.
15
Extracción de tonalidad
● Especificada por el jugador.
● De la armadura especificada en MIDI.
● Mediante análisis probabilístico y perceptual. Método de Krumhansl-Schmuckler: obtener el perfil de la
pieza y correlacionar con un patrón.
Método de Temperley, modificación del anterior
considerando modulaciones.
16
Pseudonotas extraídas
17
Sincronización
● MP3 y MIDI deben usarse simultáneamente
● MP3 se reproduce, MIDI se consulta.
MP3 actúa como reloj maestro.● Necesidad de precisión en la medida.
● MP3 y MIDI no tienen por qué ser iguales. Ajuste lineal de tiempo: tmidi=ab∗tmp3
18
ÍNDICE
● Introducción y objetivos
● Estructura
● Canción a interpretar
● Interfaces de entrada
● Pruebas y resultados
● Conclusiones y líneas futuras
19
Interfaces de entrada
● Obtener notas.
● MIDI usa dos eventos para notas:● NOTE ON, nota, velocidad.
● NOTE OFF, nota, velocidad.
● Conseguir eventos binarios.
20
Interfaces de entrada (2)
● Teclado: teclas.
● Ratón: botones y movimiento.
● Wiimote: botones y acelerómetro.
● Nunchuk: botones, acelerómetro y joystick.
● Guitarra de GH3: botones, acelerómetro,
joystick, barra (Whammy bar).
21
Homogeneización de eventos
● Tres tipos de elementos: Teclas y botones, ya son binarios.
Acelerómetros, binarizables.
Control continuo:
Posición y joystick, uso complejos.
Whammy bar, ya tiene un significado.
22
Binarización de acelerómetros
● Ofrecen X, Y y Z. Extraíble cabeceo y alabeo.
● Sólo movimientos bruscos.
● Espurios y oscilaciones.
23
Configuración de instrumentos
● Instrumentos de accionador global y de
accionador local.
● Combinación de cuatro tipo de accionadores: Inactivo.
Activo global.
Activo local.
Sin uso.
● Cada accionador tiene una nota asignada.
24
Ejemplo de configuración
Activolocal
Activolocal Activo
local
Activolocal
Activolocal
Pseudonota 5(naranja)
Pseudonota 2(roja) Pseudonota 3
(amarilla)
Pseudonota 4(azul)
Pseudonota 1(verde)
25
Ejemplo de configuración (2)
Pseudonota 5(naranja)
Pseudonota 4(azul) Pseudonota 3
(amarilla)
Pseudonota 2(roja)
Pseudonota 1(verde)
Sin usoActivolocal
Activolocal
Activolocal Activo
local Activolocal
Activoglobal Inactivo
InactivoInactivo
Inactivo
Inactivo
26
ÍNDICE
● Introducción y objetivos
● Estructura
● Canción a interpretar
● Interfaces de entrada
● Pruebas y resultados
● Conclusiones y líneas futuras
27
Reglas
Reglas básicas:1) Cada nota debe pulsarse y mantenerse
cuanto dure.
2) Se debe pulsar o soltar dentro de las
marcas, la precisión es relevante.
3) Una nota no iniciada correctamente se
pierde.
Modos de juego:● Solitario.
● Dos jugadores: Colaborativo/Competitivo.
0 puntos
10 puntos
0 puntos
28
Prueba de instrumentos
● Valoración subjetiva de la calidad de los
instrumentos imitados.
● Guitarra, piano y tambor.
● Recogida de opiniones mediante formulario. Datos del voluntario.
Comodidad de las posturas.
Facilidad para iniciar las notas.
Facilidad para finalizar las notas.
Facilidad global de uso.
29
Vídeo, prueba rítmica
30
Opiniones sobre instrumentosGrupos de voluntarios Guitarra Piano Tambor
Formación musical
Guitarrista 4,00 3,33 3,83
Percusionista 2,75 5,00 4,50
Pianista 3,25 4,75 4,25
No músico 3,33 3,92 3,92
Experiencia en juego
Jugador 3,81 4,13 4,25
No jugador 3,19 3,75 3,75
Combinación de
experiencia y formación
Mús., no jug. 3,38 3,75 3,75
Mús., jug. 3,75 4,08 4,25
Guit., no jug. 3,50 2,75 3,25
Guit., jug 4,25 3,63 4,13
No mús., no jug. 3,00 3,75 3,75
No mús., jug. 4,00 4,25 4,25
Media 3,50 3,94 4,00
31
Ejecución completa
● Valoración objetiva de la ejecución de varias
canciones con varios instrumentos. Aciertos.
Precisión al ejecutar.
● Trozo de pieza de Stephano di Britto. Piano.
● Trozo del bajo de Sweet Child o' Mine. Piano y guitarra.
32
Vídeo, Sweet Child o' Mine
33
Pieza de di Britto a piano
Sweet Child o' Mine a piano
Sweet Child o' Mine a guitarra
Grupo A.C. M.A. A.T. A.C. M.A. A.T. A.C. M.A. A.T.
Guitarrista 16,7% 58,3% 75,0% 33,3% 35,8% 69,1% 6,2% 53,1% 59,3%
Pianista 57,3% 27,1% 84,4% 43,8% 38,3% 82,1% 11,7% 62,4% 74,1%
No músico 32,8% 45,3% 78,1% 30,6% 36,1% 66,7% 13,9% 44,4% 58,3%
Jugador 47,9% 41,0% 88,9% 41,2% 37,5% 78,6% 23,9% 55,1% 79,0%
No jugador 27,1% 45,8% 70,8% 37,0% 40,1% 77,2% 1,2% 55,6% 56,8%
Media 34,9% 44,0% 78,9% 33,0% 34,6% 67,6% 11,4% 51,1% 62,5%
Resultados de la ejecución
34
Resultados de la ejecución (2)
Jugador A B C D E F G H
Experiencia en juego Si No Si No No No No Si
Formación musical Guitarra No No Guitarra No No Piano Piano
35
ÍNDICE
● Introducción y objetivos
● Estructura
● Canción a interpretar
● Interfaces de entrada
● Pruebas y resultados
● Conclusiones y líneas futuras
36
Conclusiones
● MIDI es un soporte excelente de partituras.
● El Wiimote y sus extensiones son buenas
interfaces para imitación de instrumentos.
● El paradigma propuesto para la configuración
de instrumentos es bueno.
● El software desarrollado actúa como juego
rítmico.
37
Líneas futuras● Mejora del feedback.
● Más elementos como interfaz de entrada. Extensiones del Wiimote.
Maniobras complejas.
Micrófono.
Instrumentos con interfaz MIDI.
● Evaluación de ejecución más completa. Considerar velocidad o agrupación de notas.
Modo de juego con todas las notas.
● Juego por red.
INTERFAZ GRÁFICO DE USUARIO CON CONTROL TÁCTIL PARA JUEGOS MUSICALES MULTIJUGADOR GPL
Realizado por: José Jaime ArizaDirigido por: Cristina Urdiales García
Departamento de Tecnología ElectrónicaUniversidad de Málaga
39
● Especificación.
● Transmisión serie a 31250 baudios entre
controladores y receptores.
● 16 canales.
● Mensajes De canal y de sistema.
● Extensiones. SMF = MIDI + Metadatos.
MIDI
40
Mensajes de canal
Mensaje Bytes de estado 1er byte de datos 2º byte de datos
Note Off 1000ccc 0nnnnnnn 0vvvvvvv
Note on 1001ccc 0nnnnnnn 0vvvvvvv
Postpulsación polifónica 1010ccc 0nnnnnnn 0ppppppp
Cambio de control 1011ccc 0rrrrrrr 0ggggggg
Cambio de programa 1100ccc 0mmmmmmm
Postpulsación monofónica 1101ccc 0ppppppp
Cambio de altura 1110ccc 0hhhhhhh 0lllllll
41
Estructura gráfica
Traste
NodoMensajePuntos0NodoMensajeFPS NodoMensajePuntos1 NodoMensajeTiempo
MensajeFPS MensajePuntos0 MensajePuntos1 MensajeTiempo
Inclinado
Trastenode1 Trastenode2
42
Estructura gráfica (2)
Trastenode1
cuerdaent1_0 cuerdaent1_4
Planotraste1
referencia-inf-1
referencia-sup-1 referencia-1
BOLA_0_idnota BOLA_0_idnota
COLA_0_idnota COLA_0_idnota