Upload
jose-saldana
View
162
Download
2
Embed Size (px)
DESCRIPTION
Jose Saldana, Julian Fernandez Navajas, Jose Ruiz Mas, Luis A. Casadesus Pazos. "Evaluacion de la Calidad Subjetiva de Juegos Online segun el Dispositivo de Acceso". Actas del XXVII Simposium Nacional de la Union Cientifica Internacional de Radio (URSI 2012). Elche (Spain). Sept. 2012. ISBN: 978-84-695-4327-6
Citation preview
EVALUACIÓN DE LA CALIDAD SUBJETIVA DE JUEGOS ONLINE
SEGÚN EL DISPOSITIVO DE ACCESO
GTCTechnologies GroupCommunication
José Mª Saldaña Julián Fernández-Navajas
José Ruiz-Mas Luis Casadesus
Universidad de Zaragoza
Índice - I. Introducción
- II. Trabajos relacionados
- III. Pruebas y resultados
- IV. Conclusiones
Índice - I. Introducción
- II. Trabajos relacionados
- III. Pruebas y resultados
- IV. Conclusiones
URSI 2012, Elche
Introducción - Internet no fue diseñada para
servicios con requerimientos de tiempo real.
- Primeros servicios: e-mail, transferencia de ficheros
URSI 2012, Elche
Introducción - Pero estos servicios se están
usando cada vez más: VoIP, videoconferencia, juegos online
URSI 2012, Elche
- Problema: usamos una red best effort para un servicio de tiempo real.
- Los usuarios demandan una calidad similar a la que están acostumbrados (p. ej. Teléfono vs VoIP)
- Debemos encontrar la relación entre la calidad subjetiva y los parámetros de red:
- Retardo, pérdidas, ancho de banda, jitter.
Introducción
URSI 2012, Elche
Introducción - E-Model: Herramienta de la ITU para
estimar la calidad en función del retardo, pérdidas, codec.
- Baterías de encuestas para elaborar un modelo de MOS (Mean Opinion Score)
URSI 2012, Elche
Juegos FPS online - Requerimientos de tiempo real
muy estrictos:
- Interactividad (ver vídeo)
- Los jugadores son (muy) exigentes
URSI 2012, Elche
FPS online games - Características del tráfico:
- UDP
- Paquetes pequeños (100 bytes máximo)
- Alta frecuencia (de 25 a 85 pps)
- No existe un MOS para todos los juegos
- Algunos son más sensibles al retardo, otros a las pérdidas o al jitter, etc.
Índice - I. Introducción
- II. Trabajos relacionados
- III. Pruebas y resultados
- IV. Conclusiones
II. Trabajos Relacionados
- Dimensionado del buffer
- Medir la calidad subjetiva para juegos online
II. Trabajos Relacionados
- Dimensionado del buffer
- Medir la calidad subjetiva para juegos online
URSI 2012, Elche
Dimensionado del buffer - Los jugadores usan redes de acceso
- Consideraremos por tanto router de gama media-baja
- Buffer pequeños (decenas de kilobytes)
- Políticas Drop-tail FIFO
URSI 2012, Elche
Dimensionado del buffer - Propuestas de dimensionado:
- Rule of the thumb: C x RTT
- Maximiza la ocupación del buffer
- Añade mucho retardo
- Stanford model: C x RTT / sqrt(N)
- Tiny buffer: 20 a 50 paquetes
URSI 2012, Elche
Dimensionado del buffer
Buffer más
grande
Mayor retardo
Mayor jitter
Menores pérdidas
Buffer más
pequeño
Menores pérdidas
Menor jitter
Mayores pérdidas
II. Trabajos Relacionados
- Dimensionado del buffer
- Medir la calidad subjetiva para juegos online
URSI 2012, Elche
Calidad subjetiva en FPS - MOS en función del retardo (dependencia lineal)
C. Schaefer, T. Enderes, H. Ritter, M. Zitterbart. “Subjective quality assessment for multiplayer real-time games”. In Proc 1st workshop on Network and system support for games (NetGames '02). ACM, New York, NY, USA, 74-78. 2002.
- Influencia del retardo y pérdidas (sin proponer un MOS)
S. Zander, G. Armitage, “Empirically Measuring the QoS Sensitivity of Interactive Online Game Players”. In Proc. Australian Telecommunications Networks & Applications Conference (ATNAC 2004), Sydney, Australia, Dec. 2004.
Diferente comportamiento frente a pérdidas:
- Halo: Deja de funcionar con 4% de pérdidas
- Quake III: Funciona hasta con 35%
URSI 2012, Elche
Calidad subjetiva en FPS - Retardo y jitter, por separado
M. Dick, O. Wellnitz, L. Wolf. “Analysis of factors affecting players' performance and perception in multiplayer games”. In Proc. 4th ACM SIGCOMM workshop on Network and system support for games (NetGames '05). ACM, New York, NY, USA, 1-7, 2005.
- Primer MOS, adaptado del E-model A. F. Wattimena, R. E. Kooij, J. M. van Vugt, O. K. Ahmed, “Predicting the perceived quality of a first person shooter: the Quake IV G-model”. In Proc. 5th SIGCOMM workshop Network and system support for games (NetGames '06), ACM, New York, NY, USA, 2006.
- Sólo consideran retardo y jitter
- Juego estudiado: Quake IV
- G-model: Es el que usaremos
Índice - I. Introducción
- II. Trabajos relacionados
- III. Pruebas y resultados
- IV. Conclusiones
URSI 2012, Elche
Resultados previos VoIP - El E-Model usa el retardo y las
pérdidas.
- No se usa el jitter, porque se implementa un buffer de de-jitter
URSI 2012, Elche
Resultados previos VoIP - El MOS decrece monótonamente al aumentar
el tráfico de fondo:
1
1.5
2
2.5
3
3.5
4
4.5
5
400 450 500 550 600 650 700 750 800 850 900 950 1000
MO
S
background traffic (kbps)
E-Model MOS
1 call
5 calls
10 calls
15 calls
20 calls
URSI 2012, Elche
Un número de jugadores comparte la conexión (mismo router)
.
.
.Servidor del
juego
Usuarios
buffer
Internet
Router
Tráfico del juego
+ tráfico de fondo
Escenario considerado
URSI 2012, Elche
Metodología - El mismo escenario que en VoIP
- Juego FPS: Quake IV
- Trazas de tráfico obtenidas del CAIA project
- Consideramos el tráfico cliente-a-servidor (el más restrictivo, que coincide on el uplink)
URSI 2012, Elche
Metodología - Histogramas de tiempo entre
paquetes y pps: - 40.7 kbps / usuario
40 50 60 70 80 90 100 110bytes
0 10 20 30 40 50 60 70ms
79.5 bytes media
64 pps
URSI 2012, Elche
Metodología - 20 jugadores comparten una
conexión
- Buffer: Drop-tail, tamaño medido en kB
Ancho de banda Tamaños 2 Mbps 10 kB
3 Mbps 20 kB
50 kB
100 kB
URSI 2012, Elche
Metodología - Tráfico de fondo compartiendo la
conexión
- 50% paquetes: 40 bytes
- 10% paquetes: 576 bytes
- 40% paquetes: 1500 bytes
- RTT de la red (30 ms) añadido offline
.
.
.Servidor del
juego
Usuarios
buffer
Internet
Router
Tráfico del juego
+ tráfico de fondo
URSI 2012, Elche
Resultados: Retardo
0
50
100
150
200
250
300
350
400
450
0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
ms
tráfico de fondo (kbps)
RTT, 2 Mbps
10 kB
20 kB
50 kB
100 kB
URSI 2012, Elche
0
50
100
150
200
250
300
350
400
450
0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
ms
tráfico de fondo (kbps)
RTT, 2 Mbps
10 kB
20 kB
50 kB
100 kB
Resultados: Retardo
Límite ancho banda: 40.7 x 20 = 814 kbps
URSI 2012, Elche
0
50
100
150
200
250
300
350
400
450
0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
ms
tráfico de fondo (kbps)
RTT, 2 Mbps
10 kB
20 kB
50 kB
100 kB
Resultados: Retardo
Retardo inaceptable
URSI 2012, Elche
0
50
100
150
200
250
300
350
400
450
0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
ms
tráfico de fondo (kbps)
RTT, 3 Mbps
10 kB
20 kB
50 kB
100 kB
Resultados: Retardo
URSI 2012, Elche
0
50
100
150
200
250
300
350
400
450
0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
ms
tráfico de fondo (kbps)
RTT, 3 Mbps
10 kB
20 kB
50 kB
100 kB
Resultados: Retardo
Límite ancho banda: 40.7 x 20 = 814 kbps
URSI 2012, Elche
0
50
100
150
200
250
300
350
400
450
0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
ms
tráfico de fondo (kbps)
RTT, 3 Mbps
10 kB
20 kB
50 kB
100 kB
Resultados: Retardo
Retardo inaceptable
URSI 2012, Elche
0
10
20
30
40
50
60
70
80
90
100
110
0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
ms
tráfico de fondo (kbps)
Jitter, 2 Mbps
10kB
20 kB
50 kB
100kB
Resultados: jitter
URSI 2012, Elche
0
10
20
30
40
50
60
70
80
90
100
110
0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
ms
tráfico de fondo (kbps)
Jitter, 2 Mbps
10kB
20 kB
50 kB
100kB
Resultados: jitter
Ancho de banda 40.7 x 20 = 814 kbps
Por encima del límite, el jitter baja, porque el buffer está siempre
lleno
URSI 2012, Elche
0
10
20
30
40
50
60
70
80
90
100
110
0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
ms
tráfico de fondo (kbps)
Jitter, 3 Mbps
10kB
20 kB
50 kB
100kB
Resultados: jitter
URSI 2012, Elche
0
10
20
30
40
50
60
70
80
90
100
110
0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
ms
tráfico de fondo (kbps)
Jitter, 3 Mbps
10kB
20 kB
50 kB
100kB
Resultados: jitter
El pico baja al aumentar el ancho de banda
URSI 2012, Elche
0%
5%
10%
15%
20%
25%
30%
35%
40%
45%
0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
tráfico de fondo (kbps)
Pérdidas de paquetes, buffer 10kB, 2 Mbps
juego (79 bytes media)
40 bytes
576 bytes
1500 bytes
Resultados: Pérdidas
URSI 2012, Elche
0%
5%
10%
15%
20%
25%
30%
35%
40%
45%
0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
tráfico de fondo (kbps)
Pérdidas de paquetes, buffer 10kB, 2 Mbps
juego (79 bytes media)
40 bytes
576 bytes
1500 bytes
Resultados: Pérdidas
Los paquetes pequeños tienen ventaja en el buffer
medido en bytes
URSI 2012, Elche
0%
5%
10%
15%
20%
25%
30%
35%
40%
45%
0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
tráfico de fondo (kbps)
Pérdidas de paquetes, buffer 10kB, 3 Mbps
juego (79 bytes media)
40 bytes
576 bytes
1500 bytes
Resultados: Pérdidas
URSI 2012, Elche
Resultados: MOS - Fórmula del MOS en el G-Model:
x = 0.104*ping_average + jitter_average
MOS = -0.00000587 x3 + 0.00139 x2- 0.114 x + 4.37
- Las pérdidas no se consideran mientras no sobrepasen el 35%
URSI 2012, Elche
1
1.5
2
2.5
3
3.5
4
4.5
5
0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
MO
S
tráfico de fondo (kbps)
MOS G-Model, 2 Mbps
10 kB
20 kB
50 kB
100 kB
Resultados: MOS
URSI 2012, Elche
1
1.5
2
2.5
3
3.5
4
4.5
5
0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
MO
S
tráfico de fondo (kbps)
MOS G-Model, 2 Mbps
10 kB
20 kB
50 kB
100 kB
Resultados: MOS
Buena calidad
Calidad media
Mala calidad
URSI 2012, Elche
1
1.5
2
2.5
3
3.5
4
4.5
5
0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
MO
S
tráfico de fondo (kbps)
MOS G-Model, 2 Mbps
10 kB
20 kB
50 kB
100 kB
Resultados: MOS
El retardo y el jitter crecen
El retardo crece y el jitter baja
No decrecimiento monótono
URSI 2012, Elche
1
1.5
2
2.5
3
3.5
4
4.5
5
0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
MO
S
tráfico de fondo (kbps)
MOS G-Model, 2 Mbps
10 kB
20 kB
50 kB
100 kB
Resultados: MOS
Los buffer pequeños presentan el mejor comportamiento
URSI 2012, Elche
1
1.5
2
2.5
3
3.5
4
4.5
5
0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
MO
S
tráfico de fondo (kbps)
MOS G-Model, 3 Mbps
10 kB
20 kB
50 kB
100 kB
Resultados: MOS
URSI 2012, Elche
1
1.5
2
2.5
3
3.5
4
4.5
5
0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
MO
S
tráfico de fondo (kbps)
MOS G-Model, 3 Mbps
10 kB
20 kB
50 kB
100 kB
Resultados: MOS
Buena calidad
Calidad media
Mala calidad
URSI 2012, Elche
1
1.5
2
2.5
3
3.5
4
4.5
5
0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
MO
S
tráfico de fondo (kbps)
MOS G-Model, 3 Mbps
10 kB
20 kB
50 kB
100 kB
Resultados: MOS
Valores aceptables de MOS por encima del límite de ancho
de banda
Índice - I. Introducción
- II. Trabajos relacionados
- III. Pruebas y resultados
- IV. Conclusiones
URSI 2012, Elche
Conclusions - Access networks with low-end routers - Importance of the buffer size - Small buffers are better for real-time apps - Buffer implementation can penalyze big
packets - We cannot separately study each network
impairment - Need for subjective quality estimators to
calculate MOS - If delay and jitter are the considered
impairments, the jitter peak produces a MOS valley
Muchas gracias
GTCTechnologies GroupCommunication [email protected]