Will Web For Food

Morae es un paquete de software compuesto por 4 herramientas, destinadas a analizar y compartir la experiencia de uso de una web, estas herramientas son: Morae Manager, Morae Observer, Morae Recorder y Morae Player.

Una de las opciones más interesantes a la hora de evaluar la usabilidad de un site, reside en analizar las tareas especificas destinadas a los distintos perfiles de la audiencia del site. (Este enfoque entronca con personas y escenarios).

Y para este fin Morae resulta una herramienta extremadamente útil.

No obstante requiere cierta estrategia de investigación previa a su uso.

Desde las tareas de diseño del cuestionario:

Debemos establecer cuestionarios equilibrados para los distintos perfiles, de modo que podamos realizar comparaciones intragrupales e intergrupales.

(Ejemplo: podemos detectar que el empleo del buscador de la web a analizar es residual en todos los perfiles, para recabar información podemos fijar tareas de uso del buscador orientadas a las posibilidades de que ofrece el site para los perfiles y analizar las pautas de navegación o la consecución del objetivo.)

Desde la “operacionalización” del experimento:

Conviene tener en cuenta los requisitos de análisis de Morae desde el inicio.

Morae tiene un pequeño problema con las palabras acentuadas, que obliga a corregir estas palabras cuando recuperas un estudio (ejemplo “á” se convierte en “& aacute;”) debido a la codificación de caracteres empleada.

Es posible que exista una solución elegante a esto, pero resulta útil disponer del cuestionario en formato txt, para poder sustituir rápidamente y sin excesivo esfuerzo.

Es importante establecer carpetas diferenciadas para los distintos experimentos y ser ordenado a la hora de definir el nombre del fichero de la grabación.

El formato de fichero “Proyecto_FechaAñoMesDía” creo que resulta muy útil, y evita muchos problemas.

Desde la generación de entregables:

Se puede dar la situación de tener urgencia en generar y distribuir las sesiones del experimento, en principio desde Morae Observer se puede solucionar con gran facilidad.

Si, se ha optado por la funcionalidad en tiempo real, para trasmitir el experimento a los observadores de sala , recuerda que este vídeo carece de la señal de audio, y muy posiblemente tendrás que procesar las grabaciones del experimento mediante Morae Manager para exportarla.

Referencias:

• Prueba Morae

La encuesta es una técnica muy popular en las ciencias sociales para recabar información de grupos cuando estos son voluminosos.

Consiste en una serie de preguntas estructuradas y codificada, al que se llama cuestionario, cuya finalidad es obtener una perspectiva de la opinión de un grupo sobre una o más cuestiones.
Existen distintos tipos de encuesta, atendiendo a una categorización basada en el procedimiento de administración, los fines, los objetivos y la dimensión temporal en la que se realiza.

Cuando se hacen encuestas para recabar la opinión de una audiencia de un site, y esta se realiza mediante un elemento en el site estamos en una encuesta online.

Las encuestas online se deben adaptar al canal web.
Por lo que todo lo que vale para el diseño la web debe valer para el diseño del cuestionario, con esto me refiero a las consideraciones de buenas prácticas sobre usabilidad y accesibilidad.

Algunas consideraciones que pueden serte útiles

Resulta más sencillo enfocar el cuestionario como una prueba de contraste, que como una prueba exploratoria.

Sí generas una hipótesis y la contrastas con la audiencia vía cuestionario vas a tener el campo de análisis mucho más acotado, que si tratas de descubrir todas las posibles deficiencias vía cuestionario.

El cuestionario debe ser digerible, piensa en tu propia experiencia.

Puede que no te moleste dedicarle 5 minutos a responder algunas preguntas, pero desde luego, ninguno queremos estar 55 minutos. (Supongo que quieres un numero, la fórmula mágica para mi esta en no sobrepasar los 15 ítems, siempre y cuando los ítems no tengan más de 6 u 8 categorías de respuesta.)

No obstante, para estar seguros pide a alguna persona que haga la encuesta antes de implementarla en el site y controla el tiempo que emplea.

¿Preguntas abiertas o cerradas?

Las preguntas abiertas son mucho más ricas en información, por el contrario resultan más difíciles de codificar y procesar. Una opción intermedia es emplear respuestas múltiples con diferenciales semánticos bien definidos.

Ten previsto el plan B

¿Qué ocurre si no logras una muestra estadísticamente significativa en el periodo de la investigación?
¿Y si la logras a las 5 horas de lanzar el cuestionario?
Ten cubiertos todos los frentes.

Si la encuesta forma parte de una batería de pruebas de usabilidad, se coherente e integra cada fase dentro de la perspectiva general del proyecto. Genera hipótesis de tipo general, que puedas matizar en el test de usuario o que te sirvan para lograr un enfoque más definido de un análisis heurístico.

La teoría dice que introducir pruebas de evaluación en los proyectos es bueno, y mientras antes las introduzcas mejor para el resultado final.

Ahora, existen algunas pruebas de evaluación que presentan una “secuencialidad” determinada, respecto a la fase del proyecto en el que nos encontremos.

Los análisis heuristicos cumplen ambas categorías, mejor cuanto antes, siempre dentro de la fase de testeo y afinamiento en el enfoque usability.gov o en la fase de desarrollo en el enfoque UCD de ciclo de vida del producto de S.E.

Bien, eso es la parte teórica del curso.

Pasemos a la práctica.

Heuristico…? Eso es lo que hacen donde el carreful no?

Antes de nada, es necesario aclarar el concepto a todos los implicados.
Heuristico es como paralelepípedo, que tiene un nombre contundente, pero no por ello es ingeniería espacial.

Análisis Heuristico es un tipo de análisis en el que se aplica heurística [la capacidad de un sistema para realizar de forma inmediata innovaciones positivas para sus fines], esta capacidad es netamente humana, y podemos considerar a esta capacidad como un sinónimo de “descubrir” (claro, que si dijeras Análisis de Descubrir el cool factor de la investigación desaparecería …)

De Madrid a Toledo, pasando por Nueva York y a nado.

Testear Bueno.
Heuristico Bueno.

Pero ¿para qué?, es una técnica, no un fin, (el fin de la técnica es detectar e identificar factores que afectan negativamente a la usuabilidad del producto web).
El análisis heuristico incrementa su significación si esta integrado dentro de una fase de evaluación y mejora del site, y permite responder a la pregunta “¿Y después que?”

4 ojos ven más que 2, el precio de la vida, ROI, investigadores y costes

A) El análisis heuristico identifica un mayor número de problemas de usabilidad si se incrementa el número de investigadores.
B) El análisis heuristico presenta una relación Coste-Beneficio más baja que otras técnicas de análisis.

A más A) menos B).

Hay que tenerlo en cuenta, y definir el análisis en términos de Muestra (donde aplicamos, WEB/ PDA/TODO) en términos de Tiempos, Costes y Plazos, y orientar la investigación a un fin, y no llevarnos sorpresas,del tipo “¿Y ahora de donde saco yo un investigador?”

En conclusión:

Analisis Heuristico, es un tipo de prueba de evaluación de usabilidad, cuya finalidad es descubrir mediante contraste, con una serie de reglas o guías basadas en principios de usabilidad, que elementos del site lastran la experiencia de uso.

La capacidad de detección del análisis heuristico teóricamente, nos permite hablar de un nivel de confianza entorno al 75% de problemas de usabilidad para 5 evaluadores, según J. Nielsen, (no he visto los cálculos y el diseño del experimento, pero la lógica me resulta un poco discutible, estos datos se basan en tener identificados el 100% de los problemas antes de iniciar la investigación… lo cual, me resulta extraño, es una técnica exploratoria.

Todo el proceso se plasma en un informe del Análisis Heuristico. (¿necesitas un ejemplo?, cortesía de las señoritas de cadius)

Referencias:

• Evaluación Heuristica en J.Nielsen
• Ejemplo de Heuristico de Xenox
• Ejemplo de Heuristico de J.Nielsen
• Evaluación Heuristica en Sitepoint
• Algunas recomendaciones más
• Recientemente han dicho …
• Y el saber universal sobre la cuestión

Teóricamente una prueba de test con un cuestionario, un diseño muestral y un análisis estadístico es investigación cuantitativa de libro.

El problema reside en el contraste de investigación.

No hay suficientes (esto quiere decir, yo no he encontrado…aun) investigaciones sobre el tema. Pero J. Nielsen parece que si cuenta con esos datos como se ve en su letter “Outliers and Luck in User Performance” del 6 de marzo de 2006.
Siguiendo con esta lógica la distribución debería seguir una curva normal y el comportamiento del usuario debería ser tratado como un modelo probalístico que siga la ley de los grandes números y el teorema del límite central. (O sea > 30 casos, y una distribución concentrada entrono a la media).
Es cierto que en ningún momento Nielsen afirma que entre User Performance y 5formula estén relacionados, pero creo que ello se sobreentiende y hay que justificar el uso de muestras pequeñas.
Creo que 5formula no es correcto por que para que sea operativa su lógica hay que presuponer el total de fallos que tiene el diseño (100%) es conocido de antemano por el evaluador, cuando la naturaleza del test es exploratorio, no descriptivo (el 100% serán los errores acumulados de todo los usuarios y aun así seria el 100% de los errores de nuestra muestra, no un total del diseño).
Aunque CUE 4 es una apuesta arriesgada para los costes de un proyecto (o no? Tengo que comprobarlo, por que este argumento se repite como dogma de fe)

Por otro lado, si enfrento la distribución normal a algún otro modelo continuo (pienso en una distribución de Pareto) ¿qué pasa?

Aunque como dice Jacobo, toda esta situación desaparece si optamos por un análisis de tipo cualitativo (Entrevista en profundidad, Grupos de discusión, Cognitive walkthrought (como metodología no como técnica) principalmente)
Pero no es cuali lo que me esta desquiciando.

Referencias

• Outliers and Luck in User Performance en J. Nielsen
• Why You Only Need to Test With 5 Users en J.Nielsen
• The User Is in the Numbers en J. Sauro
• When 100% Really Isn’t 100%: Improving the Accuracy of Small-Sample Estimates of Completion Rates en J.Sauro y J.R. Lewis

Las Métricas de Evaluación Usabilistica (Usability Evaluation Metrics o UEM) son consideradas como las técnicas más populares para medir la usabilidad.

Las técnicas principales de UEM son los Usability Evaluation Methods
(UEMs) que agrupan a:

• Cognitive walkthrought
• Heuristic evaluation
• Think-aloud

Aunque presentan diferencias en el grado de detección, y de selección de la muestra como muestra el CUE-4, así como una severa tendencia a acumular una desviación provocada por el entrevistador (evaluator effects).