- Se han realizado los tests de usabilidad informales de los 3 prototipos desarrollados en las anteriores fases y se han analizado los resultados. A continuación se ofrecerán los detalles de cómo se han realizado los tests, las características en cuanto a participantes, los resultados con los problemas a los que nos hemos enfrentado y, finalmente, las conclusiones sobre cada prototipo.
Cabe destacar que hemos seguido las estrategias de evaluación que mencionamos en la anterior fase del proyecto. Por tanto, la evaluación de los prototipos 1 y 2 es muy similar en forma, siendo más diferente la evaluación del prototipo 3.
Evaluación del prototipo 1
Sujetos del test: 2 pacientes, 3 médicos.
Pacientes
Los pacientes entienden correctamente los dos puntos específicos de este dispositivo. Se les introduce en los aspectos básicos del sistema, con éxito:
- Interfaz web: En el sentido en que podrán rellenarlo en cualquier ordenador, no solo el suyo propio, y en cualquier momento y lugar.
- Metáfora diario: Está pensado para ser rellenado al final del día (como un diario) aunque admita ser rellenado más de una vez al día.
Entendida la parte básica se le presenta mediante cartulinas la interfaz de usuario, superpuestas en un monitor de ordenador.

De la cual se sacan los siguientes comentarios a tener en cuenta a la hora de depurar al interfaz:
- En la cartulina no todos los pacientes apreciaban correctamente las líneas en gris sibre gris.
- Los números pueden ser demasiado pequeños.
- Adicionalmente y por parte del grupo se plantea a los usuarios si el tamaño de la cuadrícula seria suficiente para poderla clicar fácilmente mediante un ratón (la prueba se hace “a dedo”), obteniendo una respuesta positiva siempre y cuando se mejore el primer punto.
Acto seguido se les invita a añadir un nuevo evento en su diario de dolor haciendo click sobre la hora y dolor correspondiente y haciendo aparecer al lado del “cursor” el cuadro de posibles causas.

- Se consulta si se esperaba esa respuesta del sistema, resultando mayoritariamente que no (un paciente no tenía expectativa alguna sobre la reacción del sistema).
- Se consulta si se cree que se ha obrado bien en el paso anterior (es decir, esta es la respuesta lógica del sistema si no hay error al clickar algo que no se debe, no al haberse equivocado de cuadrícula), obteniendose unanimidad en el sí.
- Se consulta si se tiene idea de para que puede servir el nuevo cuadro: Mayoritariamente por instinto los pacientes consultados llegan por si mismos a la respuesta correcta, sin embargo uno de ellos erroneamente cree que debe anotar que hace o hacía al anotar en el diario y no en el momento de dolor. Tras una breve aclaración lo entiende y le parece razonable.
- Finalmente se les pregunta, en el caso de que creyeran que se han equivocado que deberían hacer: aquí se encuentra un problema: las flechas de avance y retroceso (incluidas para el tratamiento de errores) se encuentran bajo la fecha, dando lugar a confusión si esas flechas manejan la fecha o el avance (siendo mayoritariamente creido que se modifica la fecha).
En la cual se pide a los usuarios marcar la zona de dolor, que se hace resaltar con cartulina de color y espera a que el usuario avance mediante la flecha para poder presentarle de nuevo el comienzo del sistema para añadir otro dolor a diferente hora:
- Se genera una duda generalizada: ¿Ya está? Falta de feedback al haber concluido el registro.
- Duda minoritaria: ¿Se puede marcar más de una zona de dolor?.
Un a vez concluido todo el proceso se vuelve a la pantalla inicial con la cuadricula rellenada hora/intensidad marcada en rojo para indicar que está cumplimentada.
- Varias consultas de que significa el cuadro rojo: Quizá se deba elegir otro color u otra forma de señalar este hecho.
Se solicita finalmente que se piense que cree que debería hacer si desea cumplimentar el diario del día anterior ya que se le olvidó o no pudo hacerlo:
- Dado que ya se tuvo la duda de las flechas todos coinciden (al haber sido explicado el significado de las flechas) que se debería pinchar en el recuadro que indica la fecha, presentandosele efectivamente un calendario donde elegir al fecha que se desea cumplimentar.
Antes de agradecer nuevamente la ayuda en este prototipo se le consulta si se cree que este servicio mejoraría el actual obteniendose unanimemente que si y se le pide una valoración numérica de 1 a 5 del producto, obteniendose una media de 4 (valores entre 3 y 5).
Facultativos
Al facultativo, que ya está al corriente del proyecto que nos ocupa, se le presenta el primer prototipo de interfaz con las mismas aclaraciones previas que las hechas a las pacientes: plataforma web e idea de diario. Hecho esto se le muestra la interfaz.
Se le pide que seleccione al paciente que desea. Como se esperaba hace click en su recuadro y le aparece el siguiente paso. Se le consulta si le será útil esta comprobación, a lo que contesta que sí. Se le consulta si le parece relevante que aparezca la información del paciente en este paso, a lo que responde que si. Se le consulta que información querría tener en este paso: Edad, sexo, peso, diagnóstico, tipo de dolor y tratamiento actual. El facultativo confirma el paciente.
En esta interfaz se van ofreciendo en el recuadro inferior la información de los 3 picos de dolor segun desplaza el dedo por la pantalla incitado por el guía.
Al ver la información que solicitaba en el paso anterior le parece lógico que aparezca aquí y menos relevante en el paso anterior.
- Entiende la mecánica del cursor y la gráfica.
- Se le invita a cambiar el tratamiento al paciente.
- Clickea correctamente en el cuadro de las píldoras.
- Se le presenta la pantalla correspondiente, en la cual valora muy positivamente que se ofrezca la evolución en el tratamiento del paciente.
- Se le invita a introducir un nuevo tratamiento, lo cual hace correctamente.
- Se le invita a cambiar de paciente, lo cual realiza iguamente bien.
Se da por concluida la presentación del dispositivo y se le pide una valración de la utilidad del producto, siendo anotada una de las respuestas: “Muy sencillo y ágil, bien organizado, aunque un poco feo el color de la gráfica jeje. Seguid adelante chicos.”
Se le consulta si este sistema mejoraría el actual obteniéndose un sí rotundo. Consultado sobre la posibilidad de implantación del sistema tiene sus reservas al tener que tratarse no solo con facultativos sino con órganos gestores.
Evaluación del prototipo 2
Sujetos del test: 2 pacientes, 3 médicos.
Pacientes
Al igual que en la evaluación del prototipo 1, se les introduce a los pacientes en los puntos específicos de este prototipo y en los aspectos básicos, como la interfaz web y la métafora del diario, que entienden a la perfección. A continuación se les ofrece cartulinas superpuestas a un dispositivo smartphone (en este caso, un iPhone), para que puedan interactuar con el mismo.

De la cual se sacan los siguientes comentarios a tener en cuenta a la hora de depurar al interfaz:
- El usuario responde satisfactoriamente a la interacción con el sistema, entendiendo los pasos. No se queda bloqueado en ningún momento y el feedback del envío del dolor es correcto.
- El usuario envía correctamente su dolor sin ninguna instrucción ni guía adicional.
Se solicita finalmente que se piense que cree que debería hacer si desea cumplimentar el diario del día anterior ya que se le olvidó o no pudo hacerlo:
- El usuario es capaz de insertar este dolor con facilidad, indicando al sistema en los primeros pasos que el dolor no ha sido recientemente, a lo que el sistema le pide la fecha y hora aproximada del mismo.
Antes de agradecer nuevamente la ayuda en este prototipo se le consulta si se cree que este servicio mejoraría el actual obteniendose unanimemente que si y se le pide una valoración numérica de 1 a 5 del producto, obteniendose una media de 5, superior a la del prototipo 1.
Facultativos
De la misma forma que en el prototipo 1, al facultativo se le introduce en los aspectos básicos, aunque ya está familiarizado con los mismos debido al conocimiento del proyecto.
De su interacción con este prototipo podemos destacar aspectos similares a los del prototipo 1, con algunas diferencias.
- El especialista comprende con facilidad la interfaz a la hora de solicitar información al sistema. Selecciona correctamente al usuario y entiende bien la información presentada gráficamente por el sistema.
- La granularidad de la información presentada es adecuada.
Se da por concluida la presentación del dispositivo y se le pide una valoración de la utilidad del producto. En general, el usuario se muestra favorable de usar el sistema. 3 de los usuarios ya están familiarizados con smartphones y los utilizan para otras tareas, tanto de ocio como productividad, por lo que valoran la movilidad de la plataforma.
Se le consulta si este sistema mejoraría el actual obteniéndose un 5/5, al igual que con los usuarios. 2 de los usuarios se muestran interesados en saber más del proyecto y se ofrecen a probar la versión ‘beta’ cuando salga.
Evaluación del prototipo 3
Sujetos del test: 5 pacientes (3 de 60 – 75 años, 1 de 50, 1 de 30).
La recreación de dicho dispositivo la hicimos mediante el uso de un mando de un coche al que le añadimos pequeñas guías que simulaban el aspecto final del dispositivo móvil autónomo.

Cabe destacar que este prototipo sólo se evaluó en pacientes. Debido a su naturaleza, no podría ser utilizado por especialistas, es decir, que no podría ser utilizado para “extraer información”, sino para insertarla. El test lo realizamos con 5 participantes de forma individual. Cuatro de ellos eran personas de edad avanzada. De los cinco participantes, dos de ellos usan el diario de dolor de forma habitual.
Para este test nos centramos en las personas de edad más avanzada ya que son los que más dificultades pueden presentar a la hora de rellenar su diario de dolor de forma escrita o mediante aplicaciones web/smartphone.
En primer lugar el falicitador les expuso una situación de la vida cotidiana y como se debería utilizar el dispositivo. Para que sirve cada opción y como era su método de empleo. El participante más joven no tuvo ningún problema en comprender el manejo del dispositivo. El resto de participantes a pesar de experimentar alguna dificultad más, no se encontró ningún problema significativo. La mayor molestia fue el uso de la rueda lateral empleada para subir o bajar la graduación del dolor.
Al ser un dispositivo muy sencillo, el participante de edad avanzada que usa el diario de dolor tardó el mismo tiempo (aproximado) para entenderlo que el resto de participantes.
El participante más joven insistió también en cómo informar de los detalles del dolor, ya que al tener costumbre de rellenar su diario con detalles, tenía la sensación de que lo que hacía estaba incompleto, a pesar de la confirmación sonora.
Tras esto hicimos un simulacro. En dos ocasiones el guía pidió a los participantes amablemente que trataran de expresar continuamente lo que pensaban, pensar en voz alta, pero los resultados fueron similares a no hacerlo, ya que para los participantes de edad avanzada les costaba mucho realizar este ejercicio mental y no ganábamos ninguna información adicional.
En estos simulacros no detectamos ningún problema grave de usabilidad, sin contar la perdida de información por la sencillez del dispotisivo.
El observador también informó de que en dos de tres participantes de edad avanzada se detectó una pequeña vacilación en la transición de sufrir un dolor – registrar el dolor, al igual que en el momento de enviarlo. Con el último participante, al detectar tambien una ligera vacilación le preguntamos y nos respondió que no entendía que se pudiera hacer de una forma tan facil, La sencillez del dispositivo causaba incredulidad de su eficacia.
Esta vacilación podría provocar el desuso del dispositivo.
Por lo tanto, pese a ser algo sencillo especialmente diseñada para gente de edad avanzada, nos limita a la hora de rellenar información y la propia sencillez puede ser un problema al generar incredulidad, al menos inicialmente.
Conclusiones
Llegamos a las siguientes conclusiones:
- El prototipo 1 es desconcertante al principio, especialmente en la fase de la cuadrícula de dolor. El feedback es insuficiente. De continuar con este prototipo, debe ajustarse la parte de la cuadrícula o incluso sustituirla por un método similar al del dispositivo móvil. Debe haber un mejor feedback del envío del dolor y de sus características.
- El prototipo 2 es el más satisfactorio de los 3. Es capaz de mostrar la información e insertarla de forma sencilla, de forma móvil, en cualquier lugar. El usuario, tanto paciente como médico, aprecia la movilidad de la plataforma. Cabe destacar que en el caso del desarrollo del proyecto a nivel real, si se decidiese desarrollar este prototipo debería desarrollarse un front-end paralelo que permitiese al especialista ver la información en pantallas más grandes, no teniendo que ser necesariamente un ordenador personal.
- El prototipo 3 es fácil de utilizar, rayando en la simplicidad. Podría ser una buena alternativa para gente de avanzada edad, como proyecto alternativo, de forma paralela. Sin embargo, los pacientes no pueden introducir detalles ni medicación, algo que se sacrifica por esta misma simplicidad.
Continuación del proyecto
Vistos los resultados de las evaluaciones de los prototipos y de la flexibilidad de los mismos, hemos tomado uno de ellos para continuar el proyecto. Hemos considerado otros factores a la hora de tomar esta decisión, como su versatilidad, el éxito entre los usuarios y cuánto podemos sacar del prototipo para convertirlo en la continuación del proyecto. Para continuar el diseño de la interacción en la asignatura hemos elegido el prototipo 2, basado en una plataforma móvil para smartphones.