Will Web For Food

A la hora de plantear una investigación con usuarios nos podemos encontrar con que existen varias herramientas, o técnicas que tienen una finalidad similar, y que debemos elegir una.

Una de esas situaciones se da cuando debemos decidir si deseamos emplear  entrevistas o queremos usar focus group.

Ambas son técnicas exploratorias y su empleo nos permite conocer las necesidades o impresiones de los usuarios sobre un producto.

De forma breve, una entrevista es una conversación que se lleva  a cabo entre  un entrevistador, el investigador, y un entrevistado, el usuario. Su duración media esta entorno a una hora y su finalidad es recabar los puntos de vista del entrevistado sobre un tema concreto.

Un  focus group  básicamente es una conversación de un  grupo de usuarios, generalmente el numero de participantes suele estar entre 7 y 10 usuarios, a los que un moderador les plantea una cuestión en torno a la cual se desarrolla la conversación. La duración media suele ser 2 horas.

Esto es una forma simplista de presentar las técnicas para ilustrar este post.  Si deseas ampliar la información sobre la entrevista y sobre el focus group puedes seguir leyendo aquí.

En principio ambas técnicas parecen muy similares, y parece que no tenemos razones de peso para elegir una técnica frente a otra.

Uno de los aspectos que nos pueden ayudar a tomar una decisión es la eficacia de las técnicas a la hora de detectar necesidades de los usuarios.

Para responder esta pregunta necesitamos dados. Un articulo de de Griffin y Hauser en Marketing Science titulado The voice of the customer
mostró que un focus group de 8 usuarios  de dos horas de duración identificaba prácticamente el mismo numero de necesidades que dos entrevistas de una hora.

1 focus group de 8 personas = 1 entrevista de 1 persona + 1 entrevista de 1 persona.

En la mayoría de los casos la decisión sobre uso de una u otra técnica se toma en función del tiempo que cuesta aplicar la técnica, el coste económico que tiene, y las experiencias previas del equipo con una u otra técnica.

En nuestro caso, si al entrevistado le gratificamos con, por ejemplo, 50 euros por su colaboración de una hora y el coste en gratificaciones a los participantes de un focus group de 8 usuarios ronda los 400 euros, parece obvio que la técnica a emplear es la entrevista.

Con dos entrevistas hacemos un focus group, pero no cuestan lo mismo.

1 focus group de 8 personas  400 euros = 1entrevista  de 1 persona 50 + 1 entrevista de 1 persona 50.

Por el coste de un focus group podríamos hacer 10 entrevistas. Además de ahorrar la mitad del tiempo.

Pero la proporción de necesidades descubiertas no se mantiene constante. A partir de 7 entrevistas, según el estudio de Griffin y Hauser el numero de necesidades descubiertas son el 80%, mientras que con 7 focus groups se llega al 90%.

El 80% de las necesidades con entrevista = 7 entrevistas x 50 euros = 350 euros y 7 horas de trabajo de campo.

El 80% de las necesidades con focus group= 7 focus group de 8 usuarios =2.800 euros y 14 horas de trabajo de campo.

Siguiendo los datos del estudios de  Griffin y Hauser podemos decidir, que el focus group es aconsejable cuando nuestro proyecto requiere un nivel de certeza muy elevado, mientras que para la mayoría de los proyectos llevar a cabo de 3 (descubriremos 60%) a 7 entrevistas (descubriremos entorno al 80%) debería ser suficiente.

Bola extra

Un buen diseño de investigación con usuarios no se basará en una única técnica, ya que necesitamos contrastar los datos, lo más indicado es asociar técnicas, iniciando el proceso con un focus group que nos permita obtener una visión general y múltiples puntos de vista para a continuación entrevistar a  un par de usuarios tipo de cada uno de los perfiles que nos permita contrastar y profundizar esa información.

Referencias:

  Los estudios pueden producir resultados fiables a partir de muestras sorprendentemente reducidas. Si desea saber si las amas de casa comprenden la palabra obsoleto, no es necesario una respuesta cuya fiabilidad estadística alcance a los decimales del porcentaje. Le basta con 20 amas de casa. Si por el contrario, lo que estudia son tendencias a lo largo de un periodo de tiempo, es mejor investigar muestras más amplias para asegurarse que los cambios son estadísticamente significativos. La composición de la muestra y el enunciado de las cuestiones debe mantenerse absolutamente constantes.

en Ogilvy y la publicidad.

La revisión bibliografía es una técnica muy común en la mayoría de las investigaciones  de casi cualquier campo del saber, pero por el contrario tiene un uso escaso en HCI.

La finalidad de este post es presentar la técnica de revisión bibliografía, indicar sus ventajas y mostrar su aplicación.

La revisión bibliografía es el proceso por cual se considera la literatura existente sobre el tema que se va a investigar.

Esto podía parecer una forma rimbombante de llamar a los “googlazos”, pero el proceso es un poco más complejo. Veámoslo.

La revisión bibliografía permite que centremos nuestra investigación mediante la consideración de trabajos anteriores. Para ello, lo primero que debemos hacer es identificar los términos o “keywords”  que van a guiar nuestra investigación, estas palabras clave son las que nos permitan localizar  los trabajos previos.

Es importante identificar los trabajos previos publicados para poder focalizar, definir, contrastar o aprovechar la información obtenida, y por que así ayudas a que crezca el cuerpo teórico del HCI. Aunque no te des cuenta, cada pieza de información que aportas a tu proyecto, al equipo o a tu cliente, difunde conocimiento HCI.

Con nuestra lista de keywords realizamos búsquedas en las fuentes. Esto puede ser consultar manuales, búsquedas en bibliotecas o consultas en bases de datos.  Lo más normal es que las fuentes nos aporten nuevas keywords. Por eso tener una lista nos ayuda a mantenernos centrados en los objetivos de la investigación.

Una vez localizadas las referencias obtendremos un lista de referencias, esta lista se  la suele llamar  “lecturas preliminares” suelen considerarse de 20 a 50 referencias, ya, lío, no tengo tiempo para esto. La buena noticia es que las publicaciones científicas tienen un formato que incluye un resumen en pocas lineas.
Parece obvio, pero hay un orden de relevancia de las referencias, un  libro o un articulo en una revista especializada suele aportar más información que un post.

Ok, es posible que tengas más referencias de la que puedes manejar, por lo que una buena opción es ordenar la información en un  mapa conceptual.

Un mapa conceptual, es un diagrama del topic que estamos analizando, en el  que se indican las referencias ordenadas por keywords, junto con la referencia bibliografía (titulo, autor y año). Los mapas conceptuales no se suelen incluir en las publicaciones de las  investigaciones, pero creo que puede ser un buen anexo, ya que ayudan a contextualizar los datos y referencias.

Vale, muy bien, ¿pero todo esto para que me vale a mi? Principalmente para que no pierdas tu tiempo en algo que esta claro y es aceptado por toda la comunidad profesional, segundo, te ayuda a centrar tu investigación, identificando los “topics” de otros autores y  ayudándote a definir las variables de tu proyecto. Tercero, es una buena fuente de ideas para tu diseño de investigación. Si tienes que llevar a cabo investigaciones, la mejor forma de aprender es haciendo y viendo como otros lo han hecho.

Por ejemplo,  en nuestro proyecto estamos interesados en “el diseño centrado en el usuario”.

Lo primero que se nos pasa por la cabeza es buscar en internet, pero no encontramos una definición unitaria. Esto supone un problema. Por lo que decidimos revisar la bibliografía.

Comenzamos  definiendo nuestras keywords.  Como la literatura se encuentra en su mayoría en ingles usaremos este idioma.

Mi lista de keywords es esta:

User-centered desing, UCD, contextual inquiry, customer-focused design, ISO 13407, ISO 9241,  empathic design, participatory design, usability engineering, usability testing, user experience design, UXD, user-focused design, user-friendly design.

Con mis keywords consulto las  bases de datos, las publicaciones especializadas,  google sholar , o la biblioteca.

Mis referencias son:

• User-Centered System Design: New Perspectives on Human-Computer Interaction. D. Norman & Draper, 1986.
• Criteria for selecting methods in user-centred design . N. Bevan, 2009.
• User-Centered Design. C. Abras, D. Maloney-Krichmar, J. Preece. in  Encyclopedia of  Human-Computer Interaction. W. Bainbridge ,2004.
• Bluffer’s guide to ISO 9241. Davis Travis, 2009.
• Hedonic, emotional, and experiential perspectives on product quality. M. Hassenzahl in Encyclopedia of Human Computer Interaction. C. Ghaoui, 2006.
• Usability inspection methods  Jakob Nielsen In Conference on Human Factors in Computing Systems 1994.
• Spark Innovation Through Empathic Design. D. Leonard, J.F. Rayport. Harvard Business Review, 1997.

Y el mapa conceptual es:

Clicar sobre la imagen para ampliar.

El uso de estadística en la aplicación de las técnicas de usability engineering, es la mejor forma de garantizarnos la consistencia de nuestros resultados. Esta consistencia es vital, por ejemplo cuando se realizan test de usuarios, ya que los resultados suelen afectar a las decisiones de diseño del producto, y el producto afecta al negocio.

Debido a estas implicaciones se requiere cierto grado de certeza a la hora de aceptar los datos y la investigación del informe de test de usuarios.

Este post es el ultimo de una serie de 3, y en el nos vamos a centrar en el informe de resultados empleando el modelo CIF.

CIF son las siglas de Common Industry Format, un modelo unificado de informe de test de usabilidad, que se basa en la definición  de usabilidad de la ISO 9241-11

Usabilidad como la capacidad de  que un producto puede ser usado por usuarios específicos para alcanzar objetivos específicos con eficacia, eficiencia y satisfacción en un contexto de uso específico.

El CIF fue creado por el  IUSR group, un grupo de expertos en usabilidad, vinculada con NIST, el Instituto Nacional de Estándares y Tecnología, que es una agencia del gobierno norteamericano y varios  miembros de la industria del software con el fin de  reducir los costes indirectos derivados de los problemas de usabilidad del software, mejorar la productividad de los usuarios, y definir y validar la usabilidad del software.
Todo esto es muy interesante pero ¿En que me beneficia emplear este modelo?

La razón principal es que permite ahorrar tiempo en el diseño del documento de informe, ayuda a centrar el análisis y la metodología en la definición del estudio, y nos permite empezar desde una posición avanzada, con un estándar definido y reconocido por la industria, permitiendo que nos centremos en lograr informes mucho más eficientes y que logren comunicar de una forma  más efectiva.

También permite que el experimento se pueda reproducir, ya que en CIF indica como se ha llevado a cabo y aporta datos sobre el proceso de captación, métricas que se han considerado, definición de usabilidad empleada en la evaluación, tareas evaluadas y forma de valorar el éxito o el fracaso de una tarea y percepción subjetiva de la unidad experimental.

Este ultimo aspecto me parece muy relevante. Un formato estandarizado que permite generar conocimiento acumulativo y dotar a los proyectos de UX Strategy con continuidad en el tiempo.

Pero ¿cómo se plasma este conocimiento acumulativo? Principalmente sirviendo de herramienta para la mejora gradual de la usabilidad del producto mediante las distintas oleadas de consultoría a las que puede estar expuesto el proyecto, que como todos sabemos pueden ser llevadas a cabo por distintas personas e incluso, distintos proveedores.

Si existe un documento marco de test de usabilidad, donde se define que variables se deben tener en cuenta, como medirlas y como implementar las mejoras, todo el ciclo de análisis de usabilidad y su aplicación parece que pueden permitirnos obtener resultados más coherentes.

Existen dos versiones de CIF, la versión 1.0 y la 2.0 esta ultima del 2001, el documento se encuentra en ingles, pero próximamente liberaremos una versión traducida al español.

Referencias:

• Cif Version 2.0 (PDF)

———————————————————————————————

★ Quizás te interesa leer: Estadística para HCI 1. Introducción

Estadística para HCI 2. Diseño de investigación

El diseño de investigación o diseño experimental es un plan general de investigación para contrastar la hipótesis.

Una hipótesis es una afirmación respecto a una característica de una población.

Todas las investigaciones o estudio estadístico, de forma general, se componen de los siguientes pasos:

• En primer lugar hay que definir el objetivo de la investigación, ¿qué quiero saber? Por ejemplo “como de usable es el interfaz”.

Esta pregunta podría ser nuestra  hipótesis. Pero ¿cómo podemos saber si esta es una buena hipótesis?

Para poder habla de “como de usable es el interfaz” debemos comenzar por definir que atributos vamos a considerar indicadores de usabilidad. Existen numerosas definiciones de usabilidad, por lo que debernos elegir una. Por ejemplo podemos utilizar la definición de la ISO 9241-11*, que vincula la usabilidad  con la Eficiencia, la Eficacia y la Satisfacción del empleo del producto.

Muy bien, hasta ahora hemos acotado el objeto de investigación, pero aun así, indicar como de eficiente, eficaz o satisfactorio es el empleo de un interfaz sigue siendo un tanto árido.  Por lo que necesitamos tareas sobre las que ponderar estas características.

Una tarea es una acción que puede realizar un usuario con un objetivo, y tiene un origen y un fin claros.

Las tareas que vamos a seleccionar serán aquella que responden a los objetivos de negocio, interés del proyecto, consistencia con anteriores investigaciones o que nos aporten los datos que necesitamos. Es importante que seleccionemos tareas que aporten datos significativos. Las tareas deben ser únicas y deben tener un único objetivo. Por ejemplo en un librería online la tarea “Comprar el libro X” puede implica 1. Tratar de localizar el libro, 2. Iniciar la compra, 3. Validar la compra. Estaríamos ante 3 tareas, si la enunciamos como una sola tendremos problemas a la hora de cuantificar.

Con la ayuda de las tareas parece que podemos definir nuestra hipótesis.  Recordemos, la hipótesis debe ser formula de forma sencilla e inequívoca.

La idea del proceso es cerciorarnos con números que lo que afirmamos en la hipótesis  es correcto, (cuando es correcta nuestra afirmación decimos que se cumple la hipótesis nula)

• Recogida de la información muestral.

Uno de los aspectos más comentados cuando se habla de test de usuarios es: ¿cuántos usuarios necesito?
Es mucho mas importante definir correctamente las tareas y fijar los objetivos que realizar un muestreo muy exhaustivo. La calidad de la muestra es tan importante como su tamaño.

Es posible que conozcas formula 5. Bueno, en principio usar 5 usuarios no resulta estadísticamente representativo. Además recuerda que Nielsen habla de una población homogénea donde cada unidad descubre el 31% de los problemas de usabilidad de un total de problemas CONOCIDOS.

Puede que necesites argumentar porque no usar 5 usuarios, como alternativa a teórica a  Nielsen están los estudios CUE de Molich.

La selección de la muestra es un problema antiguo de los test de usuarios, ya que en algún sitio esta escrito a fuego que resulta cara la captación de usuarios (en cualquiera de sus sabores, pero la captación formal e informal no tienen el mismo coste), aunque posiblemente resulte más caro tomar decisiones basadas en seudo-investigación.

A la hora de hacer un muestreo es importante el grado de homogeneidad de la población. Por ejemplo si nuestros usuarios responden en su mayoría a una serie de características comunes (grupo de edad muy definido, pautas de consumo similares, objetivos de uso concretos …)  diremos que son muy homogéneos, si no es así, y en la mayoría de casos no lo sera, estableceremos grupos que presenten homogeneidad interna y heterogeneidad entre los grupos (jóvenes, adultos, amplia experiencia con tecnología, poca experiencia con tecnología)  y seleccionaremos aleatoriamente la muestra.

Los estimadores siempre tienen que ir acompañados por una  medida de su precisión por lo que la pregunta no es cuantos usuarios empleo en mi test, sino cuanta incertidumbre puedo aceptar a la hora de hacer recomendaciones de usabilidad, en otras palabras, con que seguridad puedo decir que debemos cambiar “ese botón” por que 5 usuarios han tenido problemas con él. Gota de sudor.

Raúl Páramo tiene un post muy bueno al respecto de tamaños de muestra (y al final del post esta el enlace a la calculadora de muestras para distribuciones normales ¡oro puro!).

• Significación estadística.  Son los análisis numéricos, pero eso se lo vamos a dejar a algún útil programa de calculo como  SPSS, o la alternativa código libre PSPP.

Vas a necesitar los estadísticos descriptivos para el análisis descriptivo.

La significación estadística la vamos a calcular de la siguiente forma:

1. Si se trata de una única variable continua mediante el calculo de la T de Student.
2. Si se trata de mas de una variable continua  mediante el calculo de la ANOVA.
3. Si se trata de una variable discreta mediante el calculo de Chi cudrado.

• Análisis descriptivo. Ya tienes un buen montón de datos, pero es posible que necesites resumir los datos, las formas más intuitivas es la presentación de los datos mediante algún diagrama, como por ejemplo un histograma. Recuerda que un buen gráfico siempre tiene algo de ciencia y algo de arte.

• Informe. Donde documentamos el proceso del test y los resultados obtenidos. Seguiremos el modelo CIF.

* Usability en ISO 9241-11: “the extent to which a product can be used by specified users to achieve specified goals with effectiveness, efficiency and satisfaction in a specified context of use“. Esta definición también se emplea en CIF.

———————————————————————————————

★ Quizás te interesa leer: Estadística para HCI 1. Introducción

La ciencia estadística tiene un sin fin de campos de aplicación. Dentro del HCI puedes encontrar estadística en las técnicas de Usability Engineering, como por ejemplo en los test de usuario.

Para un ejercicio responsable del Usability Engineering es imprescindible tener un mínimo conocimiento de estadística, sin que esto implique un gran dominio de las matemáticas.
Este post pretende introducción algunos conceptos básicos de estadística  que permitan entender la aplicación de la estadística a las investigaciones con usuarios.

La estadística básicamente  nos permite hacer 2 tipos de cosas: analizar grupos y aceptar o rechazar hipótesis.

Esto se plasma en los dos grandes tipos que hay de estadística, la Estadística Descriptiva y la Estadística Inferencial.

La Estadística Descriptiva es la que nos permite recoger, ordenar y analizar los datos sobre un asunto, fenómeno o problema de investigación, por ejemplo ¿cómo  son nuestros usuarios?.

La Estadística Inferencial es la a partir de una muestra extraída de una población nos permite hacer inferencias acerca de esa población, como por ejemplo ¿sí los usuarios del test realizan X todos los usuarios realizará Y?.

Es posible que encuentres difícil algunas de estas ideas, seguramente por que se emplea un vocabulario especializado. Así que vamos a empezar por acotar conceptos.

Conceptos  estadísticos básicos

• Universo o Población: es el conjunto completo de individuos sobre los que queremos generalizar las conclusiones de nuestro estudio.  Se denota como N.

• Muestra: es el conjunto de individuos que estudiamos. La muestra debe ser representativa de la población de estudio.  Se denota como n.

Un universo o población se puede describir mediante parámetros. Los parámetros se suelen representar con letras griegas. Los parámetros nos dicen que es lo que ocurre en la población y los obtenemos de los estadísticos de la muestra.
Los estadísticos son una estimación del valor del parámetro en la población.

• Parámetros: son índices que describen la población. Estos índices son toda función definida sobre los valores numéricos de una población.

• Estadísticos: son índices que describen la muestra. Estos índices es toda función definida sobre los valores numéricos de una muestra.

• Las variables: son cada una de las características o aspectos que queremos medir en la muestra. Las variables se pueden clasificar en dos grupos:

1. Cualitativas, cuando los valores no se pueden medir por que indican una cualidad (las variables cualitativas que pueden ser Nominales, cuando no pueden ordenar, por ejemplo el genero. Ordinales cuando si se pueden  ordenar, por ejemplo ante una pregunta sobre las preferencias,  estoy totalmente de acuerdo, estoy moderadamente de acuerdo…)
2. Cuantitativas, cuando los valores se pueden medir por que son un numero (las variables cuantitativas pueden Discretas, que no tienen un valor intermedio entre dos valores consecutivos,  por ejemplo numero de hijos, pueden ser 1 o 2, pero no 1.7. Continuas cuando si existen valores intermedios entre dos valores consecutivos, por ejemplo la temperatura).

• Distribución: es el registro de las distintas observaciones de una variable.

La distribución de una variable discreta es binomial y la distribución de una variable continua es normal.

Hay que tener cuidado al definir las variables del estudio porque en ocasiones estamos definiendo implícitamente la escala, por ejemplo si queremos medir la “usabilidad” en una tarea tenemos distintas formas de formular la cuestión.

• Facilidad del usuario para completar la tarea: Completada/No Completada (Variable cualitativa nominal).
• Dificultad percibida de la tarea: Alta, Media, Baja (Variable cualitativa ordinal).
• Tiempo empleado en completar la tarea en segundos: (Variable cuantitativa continua).

Como norma general, trataremos de usar variables cuantitativas continuas, porque  contienen más información, y permiten utilizar pruebas estadísticas más potentes.
Además, cuando recogemos información sobre un  dato en forma de variable cuantitativa, podemos agrupar esa información en categorías cualitativas, mientras que al revés no se puede.
De todos modos, esto no es una obligación, ya que  hay que valorar el esfuerzo que supone conseguir los datos y la viabilidad de la investigación. Estos aspectos los definiremos en el diseño de la investigación.

———————————————————————————————

★ Quizás te interesa leer: Estadística para HCI 2. Diseño de investigación