Test de Usuario ¿cualitativo o cuantitativo?
Teóricamente una prueba de test con un cuestionario, un diseño muestral y un análisis estadístico es investigación cuantitativa de libro.
El problema reside en el contraste de investigación.
No hay suficientes (esto quiere decir, yo no he encontrado…aun) investigaciones sobre el tema. Pero J. Nielsen parece que si cuenta con esos datos como se ve en su letter “Outliers and Luck in User Performance” del 6 de marzo de 2006.
Siguiendo con esta lógica la distribución debería seguir una curva normal y el comportamiento del usuario debería ser tratado como un modelo probalístico que siga la ley de los grandes números y el teorema del límite central. (O sea > 30 casos, y una distribución concentrada entrono a la media).
Es cierto que en ningún momento Nielsen afirma que entre User Performance y 5formula estén relacionados, pero creo que ello se sobreentiende y hay que justificar el uso de muestras pequeñas.
Creo que 5formula no es correcto por que para que sea operativa su lógica hay que presuponer el total de fallos que tiene el diseño (100%) es conocido de antemano por el evaluador, cuando la naturaleza del test es exploratorio, no descriptivo (el 100% serán los errores acumulados de todo los usuarios y aun así seria el 100% de los errores de nuestra muestra, no un total del diseño).
Aunque CUE 4 es una apuesta arriesgada para los costes de un proyecto (o no? Tengo que comprobarlo, por que este argumento se repite como dogma de fe)
Por otro lado, si enfrento la distribución normal a algún otro modelo continuo (pienso en una distribución de Pareto) ¿qué pasa?
Aunque como dice Jacobo, toda esta situación desaparece si optamos por un análisis de tipo cualitativo (Entrevista en profundidad, Grupos de discusión, Cognitive walkthrought (como metodología no como técnica) principalmente)
Pero no es cuali lo que me esta desquiciando.
Referencias
- Outliers and Luck in User Performance en J. Nielsen
- Why You Only Need to Test With 5 Users en J.Nielsen
- The User Is in the Numbers en J. Sauro
- When 100% Really Isn’t 100%: Improving the Accuracy of Small-Sample Estimates of Completion Rates en J.Sauro y J.R. Lewis
10 de July, 2007 - 10:39 am
Supongo que en ambas técnicas debería subyacer el método científico. Naturalmente parece claro que un test cualitativo subjetivo es más propenso a interpretaciones que traicionen este enfoque positivista. Si amañamos las conclusiones para que se adapten a unas premisas prejuiciosas abordamos la usabilidad como Moore los documentales: plegando, doblando y distorsionando la realidad para que se adapte a unas ideas previas. El método científico obliga a la experimentación objetiva. A la multiplicidad de pruebas con variables cambiantes y al escepticismo como montura.
El enfoque cuantitativo, sin embargo obliga a recoger una población estadísticamente representativa. Si los usuarios se escogen según un patron torticeramente preestablecido, los resultados amañados satisfacerán al cliente y, probablemente, al ego del consultor, pero poco bien harán por la calidad del site.
10 de July, 2007 - 3:46 pm
Se puede decir más alto, pero no más claro.
14 de July, 2007 - 7:03 am
¿sufrientes investigaciones? hombre, algunas pueden ser muy pesadas, pero tanto como eso… Gran post
14 de July, 2007 - 9:43 am
[…] WWFF reflexiona sobre las diferencias entre análisis cuantitativo y cualitativo de los test de usuario y sobre cómo se relacionan el diseño de interacción y el prototipado del producto. […]
16 de July, 2007 - 1:35 am
Gracias Olga.
16 de January, 2008 - 5:02 am
necesito ayuda para hacer un paradigma de mi invetigacion, ¿alguien me podria ayudar? este es mi correo adri86jj03@hotmail.com
12 de February, 2009 - 12:02 am
exciting and communicative, but would make something more on this topic?
12 de May, 2010 - 2:12 pm
I love your website.
11 de June, 2010 - 11:04 pm
[…] reflexiona sobre las diferencias entre análisis cuantitativo y cualitativo de los test de usuario y sobre cómo se relacionan el diseño de interacción y el prototipado del […]
26 de January, 2012 - 9:40 am
Phenomenal breakdown of the topic, you sholud write for me too!