No tengo tiempo y no me importa mucho todo esto, dime el numero.

Empleando 10±2  usuarios parece que nos permiten detectar el 80% de los problemas de usabilidad.

Si tienes que justificar estos datos. Se basa en la investigación de Hwang, W. and Salvendy, G. Que se titula Number of people required for usability evaluation: the 10±2 rule. Y se publico en  Commun. ACM 53, 5 (may 2010), 130–133.

A partir de aquí el rollo.

Partiendo de que existen 2 tipos de estudios de usabilidad.

1. Empírico, donde  usuarios  ”Representativos” realizan tareas identificadas como significativas para la prueba.

2. Test experto, donde “Expertos” analizan el sistema y tratan de identificar los problemas con los que se van a enfrentar los usuarios.

Sobre estos dos modelos hay muchas variantes, pero la discusión sobre el tamaño de la muestra es un clásico.

Cuando en un proyecto la usabilidad es critica, un modelo estadístico extenso resulta de mayor utilidad.

Puede parecer de sentido común, y ya sabes como es esta profesión con el sentido común, que si incrementamos el numero de participantes el estudio será más efectivo.

Pero por otro lado están los costes y la viabilidad del proyecto. Ya que al incrementar el numero de participantes se incrementan los costes de tiempo, recursos, presupuesto…

Por eso, la literatura sobre user research y HCI ha tratado siempre de definir cual es el tamaño mínimo de la muestra que sea  representativo.

Sobre esta evaluación hay un post muy interesante de Jeff Sauro donde recorre y clasifica la evolución de esta discusión.

Mi dos centavos

El problema de base que creo que se da en este tema, es la visión enfrentada de dos puntos de vista dentro de la profesión.

Por un lado están los defensores de los “números mágicos” cuyo máximo exponente es Formula5 de Nielsen.

Y por otro los defensores de la técnica de investigación.

No hay que leer mucho entre líneas para ver de que pie cojeo yo.

Parece que no esta claro que podamos hablar de un numero mágico de usuarios. Pese a que hay una larga tradición, como se ve en el articulo de Sauro, el débete no esta cerrado, como se ve en el articulo de  Schmettow entre otros.

Y a falta de una mejor solución, realiza un diseño de investigación que incluya  el muestreo de los participantes.

Tu diseño de investigación debe tener en cuenta la idiosincrasia del proyecto, sus necesidades y objetivos.

Lo que nos lleva a tratar cada situación como algo único que debe ser pensado y definido.

Referencias

• Sample size in usability studies de Martin Schmettow
• Why You Only Need to Test with 5 Users de Jacob Nielsen
• Five history de Jeff Sauro

Quizas te interese:

Test de usuario ¿cualitativo o cuantitativo? 

FOWD 2012 hold in London to 14th to 16th May.

This conference have a very interesting speakers list. And it is a great opportunity to learn the hottest topics about web design.

If you can not attend be sure to follow the hashtag #fowd but before download Convice your boss.pdf

All information at: FOWD 2012

 Q.What´s quantitative usability testing?

A. As the usability industry evolve. We´re finding that many managers insist upon quantitative answers to usability questions as well as the traditional quantitative information. They want to see proof that usability is improving year on year, so they can demonstrate to their managers that the money they put into UX is worthwhile.

It´s possible to make good qualitative usability measurement, but it cost a lot more than.

It´s possible to make good quantitative usability measurement, but it cost a lot more than traditional testing and you have to very careful about how it´s carried out. Qualitative measuring is a friendly method in that you can make mistakes with it and still get good results. Quantitative measuring is much more brittle method (it only gives good results if you are disciplined and follow the methods rigorously)

in net magazine issue 226

A veces tengo la sensación de que las técnicas clásicas HCI se colocan un paso detrás de las necesidades de los proyectos.
Cualquiera que haya tenido una mínima experiencia en cualquier proyecto “normal” sabe que la gestión tiene mucho que ver en el éxito de los proyectos.
También puede haber notado que hay un punto en el cual la gestión y la definición del proyecto están tan próximos que es difícil distinguirlos.

Tenemos una serie de técnicas HCI para la fase de descubrimiento y exploración, cosas como el diseño de la investigación, las encuestas, los focus group o los test con usuarios.

Y por otro lado una serie de técnicas de design management, tales como procesos y métodos vinculados a la gestión que también entran en juego en ese instante.
La relación entre estos tres últimos conceptos: “técnica, proceso y método” es una discusión clásica.
No tengo intención de sentar cátedra y cerrar el debate, solo comparto mi aproximación.
El Método ayuda a definir con exactitud que es lo que el equipo de diseño tiene que hacer.  Las técnicas con las acciones mediante las cueles se definen los desafíos del proyecto, Las técnicas son brainstorming, prototyping, role playing, observación. Sobre las técnicas de gestión del diseño hay constantemente debate y  o adecuaciones de otros campos, con aportaciones como architectural programming. El proceso es la forma en la que ponemos en relación método y técnica. De este modo se habla de procesos interativos, procesos estandarizados e incluso el proceso puede ser el servicio de muchas empresas de consultoría y diseño.

Una forma de neutralizar toda esta situación y de paso lograr que las técnicas HCI y el design management se encuentren y potenciar la resolución creativa de problemas es emplear “juegos“.

Actualmente estoy trabajando entorno a este punto, y es interesante por que creo que pone en contexto los objetivos y las necesidades del proyecto. Tambien conceta disciplinas como el Service Design y el Design Research con el HCI.

Referencias:

• Innovation Games. Luke Hohmann.
• GameStorming. Dave Gray Sunni Brown & James Macanufo.

User experience (UX) and invisible communication go hand-in- hand. If the invisible communication elements are done right (appropriate colours, brand consistency, appropriate tone of voice and efficient use of signs), then naturally the user experience will be enhanced.

In A Practical Guide to Designing the Invisible

Acabo de releer Re-work de Jason Fried y David Heinemeier. Es un libro muy inspirador. Me encantan las ilustraciones que acompañan al texto. El trabajo de Mike Rohde es impresionante. Me gustan tanto que creo que voy a hacer carteles para mi oficina con ellos.

No estoy de acuerdo con todo lo que cuentan los autores. Pero me encontré con algunas ideas que llevaban tiempo dando vueltas por mi cabeza acerca del trabajo y la vida.

Después de leer este libro, mi mantra para el próximo año será vincularme a proyectos movidos por la pasión. Esto a veces se nos olvida a todos. Estamos obsesionados con los resultados y obtener una idea brillante. Cuando lo importante es “empezar a hacer algo”

¡Que el 2012 sea un gran año para todos!