Will Web For Food

Medir la usabilidad es un tema complejo. Habitualmente el concepto se emplea como un indicador, pero en la mayoría de los casos lo que realmente se hace es una valoración subjetiva. Alguna de las técnicas más populares emplean el mismo método, por ejemplo los análisis expertos y algunos modelos de check list de análisis heurístico se basan en puntuaciones subjetivas que dificultan poder  recrear el experimento y comparar los resultados.

Esto nos coloca en un lugar complejo, por un lado  necesitamos ponderar el grado de subjetividad del evaluador, para poder saber como de fiables son las comparaciones entre distintos estudios, realizados por distintos evaluadores. Y por otro nos limita para definir planes de mejora de la usabilidad  de un producto a lo largo del tiempo ya que no podemos estar seguros de la homogeneidad de los datos que comparamos.

Para  evitarte callejones sin salida lo mejor es dar unos pasos previos antes de medir.

“Usabilidad” hace referencia a una especie de constructor  de la cualidad de un producto*. Cuando deseamos medirla debemos comenzar por definir que es usabilidad. Esto puede suponer un problema por que no existe ninguna definición estándar aceptada plenamente por toda la industria, aunque de forma mayoritaria se suele aceptar la definición ISO 9241-11 en la que se identifica la usabilidad con tres dimensiones del producto: Eficiencia, Eficacia y Satisfacción.

¿Porqué debemos indicar una definición? A la hora de iniciar la evaluación de un producto debemos seleccionar e indicar cual es nuestra definición, por que es ahí donde vamos a indicar las métricas que vamos a emplear. Son estas métricas las que nos permite definir en nuestros proyectos como se van a llevar a cabo las auditorías y las evaluaciones. Parece una tontería, pero muchas veces esto se obvia. Optar por una u otra definición también condiciona como vamos a investigar. ISO 9241-11 esta vinculado a la realización de tareas por definición. Si usas esta definición tienes que evaluar tareas.
Para este post se ha decidido emplear como ejemplo la técnica de test con usuarios.

Muy bien, vamos a medir. Como hemos establecido 3 dimensiones, necesitamos definir como vamos a medir y que medir.

Primero veamos las dimensiones y que significan.

• Eficacia: Capacidad de lograr el efecto que se desea o se espera.**
• Eficiencia: Capacidad de disponer de alguien o de algo para conseguir un efecto determinado.**
• Satisfacción: Razón, acción o modo con que se sosiega y responde enteramente a una queja, sentimiento o razón contraria.**

Eficacia la podemos medir contabilizando las tareas que se logran  y las que no se logran (Tareas OK VS. Tareas KO) . Aquí nos va hacer falta definir que es lograr una tarea, podemos medirla contabilizando las dificultades que encuentra el usuario y el numero de “dificultades” que estimamos en los que un usuario abandonaría una tarea.

Eficiencia la podemos medir contabilizando el tiempo empleado en la consecución de la tarea. Para poder establecer ratios de tiempo, definimos un tiempo “experto” para la tarea que tomamos como referencia para la prueba.

Satisfacción se suele medir con un cuestionario post prueba, hay un montón de cuestionarios de satisfacción que te pueden servir de ejemplo.

El resto del proceso es el habitual. Identificamos las tareas que vamos a testar, identificamos a las unidades muestrales, hacemos la captación y realizamos las pruebas.
Después de esto procesamos los resultados, y presentamos el  informe.

Bola extra:
Cuando estamos analizando los datos, lo normal es crear una matriz de variables y estadísticos descriptivos. Y sobre esto analizar los datos. Puede ser útil hallar el coeficiente de correlación***, para establecer que relación hay entre las variables (cuando el tiempo de ejecución de una tarea es menor cuando las dificultades encontradas son menores, cuando esto ocurre el usuario puntúa como más satisfecho)

Bala de plata:
Es posible que necesitemos reducir nuestras variables a indicadores independientes para los datos  “Usabilidad” ya que se van a usar como kpi de negocio.
En ese caso se puede emplear análisis de componentes principales **** para reducir los factores  a variables para poder llevar a cabo acciones concretas sobre cada uno.

Referencias:

• * Disclaimer: Creo que tener un blog  sirve para estrujarse las meninges. Esta idea de constructo aun no esta refinada, y tiene ciertas connotaciones epistemológicas un poco paradójicas (ya …) como la posesión de una característica fuera del objeto. Aunque supongo que esto no le preocupa a nadie…
• ** Tomado de la RAE. http://www.rae.es/rae.html
• *** Para saber más del Coeficiente de correlación.
• **** Análisis de componentes principales (Pdf 448kb.)
• Sobre métodos, caro pero muy bueno.
• La biblia de los test. Un poco viejo, pero muy recomendable.

El diseño de investigación o diseño experimental es un plan general de investigación para contrastar la hipótesis.

Una hipótesis es una afirmación respecto a una característica de una población.

Todas las investigaciones o estudio estadístico, de forma general, se componen de los siguientes pasos:

• En primer lugar hay que definir el objetivo de la investigación, ¿qué quiero saber? Por ejemplo “como de usable es el interfaz”.

Esta pregunta podría ser nuestra  hipótesis. Pero ¿cómo podemos saber si esta es una buena hipótesis?

Para poder habla de “como de usable es el interfaz” debemos comenzar por definir que atributos vamos a considerar indicadores de usabilidad. Existen numerosas definiciones de usabilidad, por lo que debernos elegir una. Por ejemplo podemos utilizar la definición de la ISO 9241-11*, que vincula la usabilidad  con la Eficiencia, la Eficacia y la Satisfacción del empleo del producto.

Muy bien, hasta ahora hemos acotado el objeto de investigación, pero aun así, indicar como de eficiente, eficaz o satisfactorio es el empleo de un interfaz sigue siendo un tanto árido.  Por lo que necesitamos tareas sobre las que ponderar estas características.

Una tarea es una acción que puede realizar un usuario con un objetivo, y tiene un origen y un fin claros.

Las tareas que vamos a seleccionar serán aquella que responden a los objetivos de negocio, interés del proyecto, consistencia con anteriores investigaciones o que nos aporten los datos que necesitamos. Es importante que seleccionemos tareas que aporten datos significativos. Las tareas deben ser únicas y deben tener un único objetivo. Por ejemplo en un librería online la tarea “Comprar el libro X” puede implica 1. Tratar de localizar el libro, 2. Iniciar la compra, 3. Validar la compra. Estaríamos ante 3 tareas, si la enunciamos como una sola tendremos problemas a la hora de cuantificar.

Con la ayuda de las tareas parece que podemos definir nuestra hipótesis.  Recordemos, la hipótesis debe ser formula de forma sencilla e inequívoca.

La idea del proceso es cerciorarnos con números que lo que afirmamos en la hipótesis  es correcto, (cuando es correcta nuestra afirmación decimos que se cumple la hipótesis nula)

• Recogida de la información muestral.

Uno de los aspectos más comentados cuando se habla de test de usuarios es: ¿cuántos usuarios necesito?
Es mucho mas importante definir correctamente las tareas y fijar los objetivos que realizar un muestreo muy exhaustivo. La calidad de la muestra es tan importante como su tamaño.

Es posible que conozcas formula 5. Bueno, en principio usar 5 usuarios no resulta estadísticamente representativo. Además recuerda que Nielsen habla de una población homogénea donde cada unidad descubre el 31% de los problemas de usabilidad de un total de problemas CONOCIDOS.

Puede que necesites argumentar porque no usar 5 usuarios, como alternativa a teórica a  Nielsen están los estudios CUE de Molich.

La selección de la muestra es un problema antiguo de los test de usuarios, ya que en algún sitio esta escrito a fuego que resulta cara la captación de usuarios (en cualquiera de sus sabores, pero la captación formal e informal no tienen el mismo coste), aunque posiblemente resulte más caro tomar decisiones basadas en seudo-investigación.

A la hora de hacer un muestreo es importante el grado de homogeneidad de la población. Por ejemplo si nuestros usuarios responden en su mayoría a una serie de características comunes (grupo de edad muy definido, pautas de consumo similares, objetivos de uso concretos …)  diremos que son muy homogéneos, si no es así, y en la mayoría de casos no lo sera, estableceremos grupos que presenten homogeneidad interna y heterogeneidad entre los grupos (jóvenes, adultos, amplia experiencia con tecnología, poca experiencia con tecnología)  y seleccionaremos aleatoriamente la muestra.

Los estimadores siempre tienen que ir acompañados por una  medida de su precisión por lo que la pregunta no es cuantos usuarios empleo en mi test, sino cuanta incertidumbre puedo aceptar a la hora de hacer recomendaciones de usabilidad, en otras palabras, con que seguridad puedo decir que debemos cambiar “ese botón” por que 5 usuarios han tenido problemas con él. Gota de sudor.

Raúl Páramo tiene un post muy bueno al respecto de tamaños de muestra (y al final del post esta el enlace a la calculadora de muestras para distribuciones normales ¡oro puro!).

• Significación estadística.  Son los análisis numéricos, pero eso se lo vamos a dejar a algún útil programa de calculo como  SPSS, o la alternativa código libre PSPP.

Vas a necesitar los estadísticos descriptivos para el análisis descriptivo.

La significación estadística la vamos a calcular de la siguiente forma:

1. Si se trata de una única variable continua mediante el calculo de la T de Student.
2. Si se trata de mas de una variable continua  mediante el calculo de la ANOVA.
3. Si se trata de una variable discreta mediante el calculo de Chi cudrado.

• Análisis descriptivo. Ya tienes un buen montón de datos, pero es posible que necesites resumir los datos, las formas más intuitivas es la presentación de los datos mediante algún diagrama, como por ejemplo un histograma. Recuerda que un buen gráfico siempre tiene algo de ciencia y algo de arte.

• Informe. Donde documentamos el proceso del test y los resultados obtenidos. Seguiremos el modelo CIF.

* Usability en ISO 9241-11: “the extent to which a product can be used by specified users to achieve specified goals with effectiveness, efficiency and satisfaction in a specified context of use“. Esta definición también se emplea en CIF.

———————————————————————————————

★ Quizás te interesa leer: Estadística para HCI 1. Introducción

La ciencia estadística tiene un sin fin de campos de aplicación. Dentro del HCI puedes encontrar estadística en las técnicas de Usability Engineering, como por ejemplo en los test de usuario.

Para un ejercicio responsable del Usability Engineering es imprescindible tener un mínimo conocimiento de estadística, sin que esto implique un gran dominio de las matemáticas.
Este post pretende introducción algunos conceptos básicos de estadística  que permitan entender la aplicación de la estadística a las investigaciones con usuarios.

La estadística básicamente  nos permite hacer 2 tipos de cosas: analizar grupos y aceptar o rechazar hipótesis.

Esto se plasma en los dos grandes tipos que hay de estadística, la Estadística Descriptiva y la Estadística Inferencial.

La Estadística Descriptiva es la que nos permite recoger, ordenar y analizar los datos sobre un asunto, fenómeno o problema de investigación, por ejemplo ¿cómo  son nuestros usuarios?.

La Estadística Inferencial es la a partir de una muestra extraída de una población nos permite hacer inferencias acerca de esa población, como por ejemplo ¿sí los usuarios del test realizan X todos los usuarios realizará Y?.

Es posible que encuentres difícil algunas de estas ideas, seguramente por que se emplea un vocabulario especializado. Así que vamos a empezar por acotar conceptos.

Conceptos  estadísticos básicos

• Universo o Población: es el conjunto completo de individuos sobre los que queremos generalizar las conclusiones de nuestro estudio.  Se denota como N.

• Muestra: es el conjunto de individuos que estudiamos. La muestra debe ser representativa de la población de estudio.  Se denota como n.

Un universo o población se puede describir mediante parámetros. Los parámetros se suelen representar con letras griegas. Los parámetros nos dicen que es lo que ocurre en la población y los obtenemos de los estadísticos de la muestra.
Los estadísticos son una estimación del valor del parámetro en la población.

• Parámetros: son índices que describen la población. Estos índices son toda función definida sobre los valores numéricos de una población.

• Estadísticos: son índices que describen la muestra. Estos índices es toda función definida sobre los valores numéricos de una muestra.

• Las variables: son cada una de las características o aspectos que queremos medir en la muestra. Las variables se pueden clasificar en dos grupos:

1. Cualitativas, cuando los valores no se pueden medir por que indican una cualidad (las variables cualitativas que pueden ser Nominales, cuando no pueden ordenar, por ejemplo el genero. Ordinales cuando si se pueden  ordenar, por ejemplo ante una pregunta sobre las preferencias,  estoy totalmente de acuerdo, estoy moderadamente de acuerdo…)
2. Cuantitativas, cuando los valores se pueden medir por que son un numero (las variables cuantitativas pueden Discretas, que no tienen un valor intermedio entre dos valores consecutivos,  por ejemplo numero de hijos, pueden ser 1 o 2, pero no 1.7. Continuas cuando si existen valores intermedios entre dos valores consecutivos, por ejemplo la temperatura).

• Distribución: es el registro de las distintas observaciones de una variable.

La distribución de una variable discreta es binomial y la distribución de una variable continua es normal.

Hay que tener cuidado al definir las variables del estudio porque en ocasiones estamos definiendo implícitamente la escala, por ejemplo si queremos medir la “usabilidad” en una tarea tenemos distintas formas de formular la cuestión.

• Facilidad del usuario para completar la tarea: Completada/No Completada (Variable cualitativa nominal).
• Dificultad percibida de la tarea: Alta, Media, Baja (Variable cualitativa ordinal).
• Tiempo empleado en completar la tarea en segundos: (Variable cuantitativa continua).

Como norma general, trataremos de usar variables cuantitativas continuas, porque  contienen más información, y permiten utilizar pruebas estadísticas más potentes.
Además, cuando recogemos información sobre un  dato en forma de variable cuantitativa, podemos agrupar esa información en categorías cualitativas, mientras que al revés no se puede.
De todos modos, esto no es una obligación, ya que  hay que valorar el esfuerzo que supone conseguir los datos y la viabilidad de la investigación. Estos aspectos los definiremos en el diseño de la investigación.

———————————————————————————————

★ Quizás te interesa leer: Estadística para HCI 2. Diseño de investigación

The MUSiC methods were specifically developed by the European MUSiC (Metrics  for Usability Standards in Computing) project to provide valid and reliable means of specifying and measuring usability, while also giving diagnostic feedback which enables the design to be modified to improve usability. MUSiC includes tools and techniques for measuring user performance and satisfaction.

Tomado de Measuring usability as quality of use, Software Quality Journal, 4, 115-150 (1995)

¿Así que  existe una especificación que permite cuantificar la usabilidad de las aplicaciones, y que además está documentada?
El responsable es Nigel Bevan,  que además que resulta que los más viejos del lugar hasta puede que le vieran en su visita a España.
El proyecto MUSiC  es un análisis de contexto de uso  que emplea métricas de usabilidad (User Performance Measurement Method y SUMI)

Referencias:

• Usability measurement in context
• International standards for HCI and usability
• The  Usability Engineering approach
• Practicas y necesidades de la indutria

Morae es un paquete de software compuesto por 4 herramientas, destinadas a analizar y compartir la experiencia de uso de una web, estas herramientas son: Morae Manager, Morae Observer, Morae Recorder y Morae Player.

Una de las opciones más interesantes a la hora de evaluar la usabilidad de un site, reside en analizar las tareas especificas destinadas a los distintos perfiles de la audiencia del site. (Este enfoque entronca con personas y escenarios).

Y para este fin Morae resulta una herramienta extremadamente útil.

No obstante requiere cierta estrategia de investigación previa a su uso.

Desde las tareas de diseño del cuestionario:

Debemos establecer cuestionarios equilibrados para los distintos perfiles, de modo que podamos realizar comparaciones intragrupales e intergrupales.

(Ejemplo: podemos detectar que el empleo del buscador de la web a analizar es residual en todos los perfiles, para recabar información podemos fijar tareas de uso del buscador orientadas a las posibilidades de que ofrece el site para los perfiles y analizar las pautas de navegación o la consecución del objetivo.)

Desde la “operacionalización” del experimento:

Conviene tener en cuenta los requisitos de análisis de Morae desde el inicio.

Morae tiene un pequeño problema con las palabras acentuadas, que obliga a corregir estas palabras cuando recuperas un estudio (ejemplo “á” se convierte en “& aacute;”) debido a la codificación de caracteres empleada.

Es posible que exista una solución elegante a esto, pero resulta útil disponer del cuestionario en formato txt, para poder sustituir rápidamente y sin excesivo esfuerzo.

Es importante establecer carpetas diferenciadas para los distintos experimentos y ser ordenado a la hora de definir el nombre del fichero de la grabación.

El formato de fichero “Proyecto_FechaAñoMesDía” creo que resulta muy útil, y evita muchos problemas.

Desde la generación de entregables:

Se puede dar la situación de tener urgencia en generar y distribuir las sesiones del experimento, en principio desde Morae Observer se puede solucionar con gran facilidad.

Si, se ha optado por la funcionalidad en tiempo real, para trasmitir el experimento a los observadores de sala , recuerda que este vídeo carece de la señal de audio, y muy posiblemente tendrás que procesar las grabaciones del experimento mediante Morae Manager para exportarla.

Referencias:

• Prueba Morae

La encuesta es una técnica muy popular en las ciencias sociales para recabar información de grupos cuando estos son voluminosos.

Consiste en una serie de preguntas estructuradas y codificada, al que se llama cuestionario, cuya finalidad es obtener una perspectiva de la opinión de un grupo sobre una o más cuestiones.
Existen distintos tipos de encuesta, atendiendo a una categorización basada en el procedimiento de administración, los fines, los objetivos y la dimensión temporal en la que se realiza.

Cuando se hacen encuestas para recabar la opinión de una audiencia de un site, y esta se realiza mediante un elemento en el site estamos en una encuesta online.

Las encuestas online se deben adaptar al canal web.
Por lo que todo lo que vale para el diseño la web debe valer para el diseño del cuestionario, con esto me refiero a las consideraciones de buenas prácticas sobre usabilidad y accesibilidad.

Algunas consideraciones que pueden serte útiles

Resulta más sencillo enfocar el cuestionario como una prueba de contraste, que como una prueba exploratoria.

Sí generas una hipótesis y la contrastas con la audiencia vía cuestionario vas a tener el campo de análisis mucho más acotado, que si tratas de descubrir todas las posibles deficiencias vía cuestionario.

El cuestionario debe ser digerible, piensa en tu propia experiencia.

Puede que no te moleste dedicarle 5 minutos a responder algunas preguntas, pero desde luego, ninguno queremos estar 55 minutos. (Supongo que quieres un numero, la fórmula mágica para mi esta en no sobrepasar los 15 ítems, siempre y cuando los ítems no tengan más de 6 u 8 categorías de respuesta.)

No obstante, para estar seguros pide a alguna persona que haga la encuesta antes de implementarla en el site y controla el tiempo que emplea.

¿Preguntas abiertas o cerradas?

Las preguntas abiertas son mucho más ricas en información, por el contrario resultan más difíciles de codificar y procesar. Una opción intermedia es emplear respuestas múltiples con diferenciales semánticos bien definidos.

Ten previsto el plan B

¿Qué ocurre si no logras una muestra estadísticamente significativa en el periodo de la investigación?
¿Y si la logras a las 5 horas de lanzar el cuestionario?
Ten cubiertos todos los frentes.

Si la encuesta forma parte de una batería de pruebas de usabilidad, se coherente e integra cada fase dentro de la perspectiva general del proyecto. Genera hipótesis de tipo general, que puedas matizar en el test de usuario o que te sirvan para lograr un enfoque más definido de un análisis heurístico.