8. Evaluar tecnologías basadas en mHealth. ¿Es posible un marco común de evaluación?

III JornadaRed Española de Agencias de Evaluación de Tecnologí as Sanitarias y Prestaciones del Sistema Nacional de Salud

Zaragoza, 1 de diciembre de 2016

Grandes retos presentes y futuros

Evaluar tecnologías basadas en mHealth. ¿Es posible un marco común de evaluación?

Elisa Puigdomenech

Agència de Qualitat i Avaluació Sanitàries de Catalunya (AQuAS)

ANTECEDENTES

mHealth (mSalud/ salud móvil) “medical and public health practice supported by

mobile devices , such as mobile phones, patient monitoring devices, personal digital

assistants (PDAs), and other wireless devices (OMS, 2011)

Información Accesibilidad

�Potencian universalizaciónatención sanitaria(prevención, tratamiento,...)

�Empoderamiento paciente

� Más de 100.000 appsmédicas

�Rompen barreras físicas

Instantaneidad Heterogeneidad

�Facilita al instante la información relevante para la salud

�Comunicación instantaneacon el profesional sanitario

�Elevada heteorogeneidad

ANTECEDENTES

Chronic care,

disease management

Health, wellness,

fitness

Professional support

Patient education and advocacy

Acute care, virtual visits

OBJETIVO Proponer marco colaborativo para la evaluación de las soluciones de mHealth

potenciando así un ambiente más colaborativo para salvaguardar el bienestar de los pacientes

y ciudadanos a la vez que se fomenta la inovación tecnológica

�Revisión bibliográfica

�Grupos focales con expertos y paceintes

�Propuesta modelo

METODOLOGÍAREVISIÓN MODELOS EXISTENTES

ORCHA (Organisation for the Review of Care and Health Appl ications)

Repositorios de Appshttp://www.imedicalapps.com/http://myhealthapps.net /

WHO. mobile health (mHealth) evidence reporting and assessment (mERA) checklist

Infraestructura, plataforma tecnológica, interopera bilidad,

intervención, (contenido, periodicidad), UX, coste s,

limitaciones, contexto


Distintivo App Saludable.Agencia de Calidad Sanitaria de Andalucía

AppSalut. Acreditación Apps. TIC Salut

Calidad y seguridad de la App. Evalúa 4 bloques: di seño y

pertinencia, Calidad y seguridad de la información,

Prestación de servicios, Confidencialidad y Privaci dad

Acreditación de aplicaciones. App. Evalúa 4 bloque s: usabilidad,

aspectos tecnológicos, seguridad y contenido clínic o


MAST: Model for Assessment of Telemedicine application s

Evaluación del impacto de un servicio basado en TIC s (incluyendo telemedicina) con el objetivo de

informar y dar apoyo a la toma de decisiones basada en evidencia científica (condición clínica y

tecnología eHealth, efectividad y seguridad clínica , UX, impacto económico y organizativo, aspectos

éticos, legales y culturales) (Kidholm K et al. MAST (2012). Interl J of Tech Asses s in Health Care (vol. 28, n. 1, p. 44-51)

Consulta sobre las barreras existentes y cuestiones

relacionadas con la salud móbil, identificación del

camino a seguir para potenciar la salud móbil

Green paper on Mobile Health

EU Working group on mHealth assessment guidelines

Grupo de trabajo (sociedad civil, organizaciones

investigación y usuarios, industria) para desarroll ar

directrices para evaluar la validez y fiabilidad de la msalud

METODOLOGÍAESTUDIO CUALITATIVO

Objetivo: Explorar las actitudes, preferencias y experiencias y propuestas relacionadas con evaluación de las soluciones de mHealthde profesionales de distintos perfiles y usuarios

Profesional H M Total (N)Profesionales sanitarios que usanapps en sus programas de atención(neumología, medicina interna, de familia,epidemiologia)

5 1 40%

Desarrolladores (“Enfermera virtual”,“Medtep”, “Eurecat”, “HealthApp”)

3 2 33,3%

Investigadoras (epidemiólogas, expertas enevaluación-impacto, investigación en actividadfísica)

- 4 26,7%

UsuariosRelojes inteligentes ( SmartWatch) 2 - 22,2%Apps control período menstrual - 2 22,2%Apps de actividad física yalimentación

1 233,3%

Apps de gestión sanitaria y saludinfantil

- 222,2%


¿Necesidadevaluación?

Sí unánime

Fomenta la transparencia

Necesidadcriterios

Elevada complejidad

Puedeinfluenciar en la elección de

la App

No debe ser una barrera

Si es un apoyoal tratamiento

�Objetivo /finalidad App

�Fiabilidad

�Sensibilidad de la información recogida

�Apoyo al tratamiento o de promoción de la salud

�Riesgo para la salud

�Muchas apps disponibles en el mercado

�Campo cambiante

�Dificultad de medir su impacto en salud a corto, medio y largo plazo

�¿Cómo evaluar si las mediciones son precisas o no?


DIMENSIÓN ASPECTO CONCRETO U PS I D

TÉCNICA

Precisión técnica (de los instrumentos de medida)

✔ ✔

La aplicación se orienta al objetivo planteado ✔ ✔ ✔

La aplicación cumple el objetivo inicial ✔ ✔ ✔ ✔

USABILIDAD

Usabilidad (interfaz amigable, intuitiva…) ✔ ✔ ✔

Aceptabilidad por parte de usuarios ✔

Adaptabilidad, personalización para el usuario ✔ ✔

Intención inicial de uso ✔

Niveles de uso, adherencia ✔ ✔

FIABILIDAD CONFIANZA

Fiabilidad los parámetros que se utilizan ✔ ✔

Agentes involucrados ✔ ✔

EFICACIA

Efectividad ✔ ✔ ✔

Coste-beneficio ✔ ✔ ✔

Seguimiento a largo plazo ✔ ✔

Motivación, niveles de adherencia ✔

SEGURIDAD

Seguridad percibida por el paciente ✔

Seguridad clínica ✔ ✔ ✔

Posibles efectos adversos ✔ ✔ ✔ ✔

Niveles de seguridad y privacidad ✔ ✔ ✔

U: Usuarios; PS: profesional sanitario; I: Investigador; D: desarrollador


• Entidades externas y reconocidas

• Equipos interdisciplinares

• Ajenos a los desarrolladores

Agentesevaluadores

• Sello distintivo que garantize que la solución de mSaludno es perjudicial para la salud

• ¿Costes de certificación?

• Propuesta de proceso de co-creación y co-diseñoCertificación

• Necesidad de actualizar métodos disponibles; actuales son demasiado estáticos para una tecnología tan dinámica y cambiante

• Combinar aproximaciones cuantitativas y cualitativas

• Equipos multidisciplinares (desarrolladores, clínicos y usuarios)

• Peer review antes del lanzamiento

Metodología de evaluación

RESULTADOS

1. ¿Qué soluciones se deben evaluar?

2. ¿Quiénes son los potenciales usuarios?

3. ¿Cuáles son los dominios y sub dominios que deben

considerarse?

4. ¿Cuál es el mejor proceso a seguir?

RESULTADOS

Se puede utilizar para la evaluación de un amplio espectro de soluciones de mSalud e inovaciones

� Evaluación de soluciones como PRODUCTOS en un momentodeterminado (la evaluación seria necesaria para cada nueva versión)

� Evaluar el SERVICIO donde la app es sólo uno de los elementos

¿Qué soluciones se deben evaluar?

RESULTADOS

¿Usuarios potenciales?

Macro

• Public

authorities

• Policy

makers

• …

Macro

• Public

authorities

• Policy

makers

• …

Meso

• Hospital

Managers

• Health

insurances

• Academia

• …

Meso

• Hospital

Managers

• Health

insurances

• Academia

• …

Micro

• H Prof

• Patients

• Citizens

• Developers

• …

Micro

• H Prof

• Patients

• Citizens

• Developers

• …

RESULTADOS

Modelo escalonado

�Matriz de clasificación del riesgo: combinando el r iesgo del tipo de la intervención y el del paciente

�Usuarios: Pacientes, profesionales, cuidadores, ... o todos juntos

�Integración : por sí solas o completamente integrad as

Pre-evaluación

RESULTADOS

Modelo escalonado

Propia de cada contexto y Referencia para los evalu adores

Puede incluir:�Finalidad de la app (monitorizar, guía, tratamiento)�Nivel de desarrollo�Seguridad y privacidad�Usabilidad�Funcionalidades

Checklist

- Usuarios

- Organización

- Sistemas de atención

social y sanitaria

- Comunidad

- Usuarios

- Organización


social y sanitaria

- Comunidad

- Usuarios

- Organización


social y sanitaria

- Comunidad

- Usuarios

- Organización


social y sanitaria

- Comunidad

RESULTADOS

Dominios y subdominios

�Seleccionados en función del propósito de la evalua ción

�Pueden depender del tipo de solución de mHealth

�Metodología cualitativa y cuantitativa

�Pocas herramientas validadas

Madureztecnológica Beneficios

RiesgoRecursos necesarios

mHealth

Modelo escalonado

BENEFITS

User Organization HC system Community

Clinical(improvement in health outcomes,

mortality, quality of life, exacerbations,

disease complications, etc)

Process-improvements

(decreased waiting times, work load)

Quality improvements

(improved coordination of care)

Improved general health (decreased disease prevalence

and incidence, QALYs gained)

Behavioural change (healthy lifestyles, self-management)

Quality improvements

(higher case resolution, decreased

hospit rates)

Economical (cost and time savings, cost-effectiveness)

Increased productivity

(decreased disability rates, lost work days)

Empowerment and satisfaction and

improved access to care

User satisfaction Improved generalhealth (disminution of

prevalence and incidence of a disease

Enhance collaboration

through information sharing

RESULTADOS

RISKS


Technical(data-related: leak,

loss, error; etc..)

Technical(data-related: leak,

loss, error; etc..)

Decrease in quality of care

(when ineffective solutions are implemented)

increased access inequality

(if cost for the end user is too high)

Clinical and behavioural

(adverse effects; anxiety, addiction);

Decrease in quality of care

(not integrated or in contradiction with

operating pathways & protocols)

Economical (increased costs due to technical

or clinical cost, overuse of services)

Unintended consequences (environmental changes, etc)

Inadequate contents (reliability)

(not evidence-based information sources,

lack of update mechanisms)

Economical(increased costs if the

solution is not cost-effective, or due to

overuse of services)

Increased access inequality (if cost for

the end user is too high)

Overdiagnosis

RESULTADOS

TECHNICAL MATURITY/ READINESS

User OrganizationHealth & social care

systemCommunity

UsabilityRobustness of the technical system

Interoperabilitystandards compliance

Legal compliance(data protection)

User experienceInteroperability

standardscompliance

Technical validity and precision

(measures what it says)

Regulatory/market compliance

(if a medical device)

User-centreddesign

Clinical integration with

operating IT systems

Reliability of measures

Acceptability

Process integration with operating clinical

pathways and protocols

Replicability

RESULTADOS

RESOURCES NEEDED (AFFORDABILITY/FEASIBILITY)


Technical literacy Training provided Training provide dEnvironmental

changes

Training received Logistics

Initial investment costs (devices, infrastructure,

network)

Cost paid by the user

Initial investment costs (devices, infrastructure,

network)

RESULTADOS

RESULTADOS

Dominios y subdominios EVALUACIÓN

Generación de evidencia

REGULACIÓN

USUARIOS FINALESDecisiones Informadas

Población diana?

PROVEEDORESRe-diseño de servicios

DESAROLLADORESMejoras Tecnológicas

Generación de evidencia

RESULTADOS

Dominios y subdominios

Evaluación iterativa

DISCUSIÓNREFLEXIONES / RECOMENDACIONES

� Conviene definir cuál es el objetivo de la evaluación

� Evaluación a medida según pre-evaluación (clasificación) y objetivo

� Conviene identificar herramientas de evaluación de los diferentes dominios y subdominios que estén validadas

� Existe un “gap” de conocimiento importante sobre cuál es el mejor diseño de estudio para evaluar la salud móvil

� El equipo evaluador es importante que sea multidisciplinar

� El proceso de evaluación debe ser iterativo

� Es importante adaptar la evaluación al contexto de cada zona

ACTIVIDADES FUTURAS

� Descripción del uso de la mHealth. Ej: ¿quién/qué/por qué se recomienda algunas soluciones de mHealth?

� Consenso sobre qué y como evaluar la mHealth

� Creación de una red de evaluadores

� Formarnos en UX

� Propuesta conjunta TIC salut-AQuAS: certificación y evaluación efecto en salud

� Repositorio de apps evaluadas

� …

III JornadaRed Española de Agencias de Evaluación de Tecnologí as Sanitarias y Prestaciones del Sistema Nacional de Salud

Grandes retos presentes y futuros

¡Muchas [email protected]

E. Puigdomenech, C. Carrion, S.F. Gómez, C. Almazan, M. Espallargues

Agència de Qualitat i Avaluació Sanitàries de Catalunya (AQuAS)

TransLab Research Group, Facultat de Medicina, Universitat de Girona

Universitat Oberta de Catalunya (UOC)

Red de Investigación en Servicios Sanitarios en Enfermedades Crónicas (REDISSEC)

CIBER de Epidemiología y Salud Pública (CIBERESP)

Health & Medicine

8. Evaluar tecnologías basadas en mHealth. ¿Es posible un marco común de evaluación?