Will Web For Food

El diseño de investigación o diseño experimental es un plan general de investigación para contrastar la hipótesis.

Una hipótesis es una afirmación respecto a una característica de una población.

Todas las investigaciones o estudio estadístico, de forma general, se componen de los siguientes pasos:

• En primer lugar hay que definir el objetivo de la investigación, ¿qué quiero saber? Por ejemplo “como de usable es el interfaz”.

Esta pregunta podría ser nuestra  hipótesis. Pero ¿cómo podemos saber si esta es una buena hipótesis?

Para poder habla de “como de usable es el interfaz” debemos comenzar por definir que atributos vamos a considerar indicadores de usabilidad. Existen numerosas definiciones de usabilidad, por lo que debernos elegir una. Por ejemplo podemos utilizar la definición de la ISO 9241-11*, que vincula la usabilidad  con la Eficiencia, la Eficacia y la Satisfacción del empleo del producto.

Muy bien, hasta ahora hemos acotado el objeto de investigación, pero aun así, indicar como de eficiente, eficaz o satisfactorio es el empleo de un interfaz sigue siendo un tanto árido.  Por lo que necesitamos tareas sobre las que ponderar estas características.

Una tarea es una acción que puede realizar un usuario con un objetivo, y tiene un origen y un fin claros.

Las tareas que vamos a seleccionar serán aquella que responden a los objetivos de negocio, interés del proyecto, consistencia con anteriores investigaciones o que nos aporten los datos que necesitamos. Es importante que seleccionemos tareas que aporten datos significativos. Las tareas deben ser únicas y deben tener un único objetivo. Por ejemplo en un librería online la tarea “Comprar el libro X” puede implica 1. Tratar de localizar el libro, 2. Iniciar la compra, 3. Validar la compra. Estaríamos ante 3 tareas, si la enunciamos como una sola tendremos problemas a la hora de cuantificar.

Con la ayuda de las tareas parece que podemos definir nuestra hipótesis.  Recordemos, la hipótesis debe ser formula de forma sencilla e inequívoca.

La idea del proceso es cerciorarnos con números que lo que afirmamos en la hipótesis  es correcto, (cuando es correcta nuestra afirmación decimos que se cumple la hipótesis nula)

• Recogida de la información muestral.

Uno de los aspectos más comentados cuando se habla de test de usuarios es: ¿cuántos usuarios necesito?
Es mucho mas importante definir correctamente las tareas y fijar los objetivos que realizar un muestreo muy exhaustivo. La calidad de la muestra es tan importante como su tamaño.

Es posible que conozcas formula 5. Bueno, en principio usar 5 usuarios no resulta estadísticamente representativo. Además recuerda que Nielsen habla de una población homogénea donde cada unidad descubre el 31% de los problemas de usabilidad de un total de problemas CONOCIDOS.

Puede que necesites argumentar porque no usar 5 usuarios, como alternativa a teórica a  Nielsen están los estudios CUE de Molich.

La selección de la muestra es un problema antiguo de los test de usuarios, ya que en algún sitio esta escrito a fuego que resulta cara la captación de usuarios (en cualquiera de sus sabores, pero la captación formal e informal no tienen el mismo coste), aunque posiblemente resulte más caro tomar decisiones basadas en seudo-investigación.

A la hora de hacer un muestreo es importante el grado de homogeneidad de la población. Por ejemplo si nuestros usuarios responden en su mayoría a una serie de características comunes (grupo de edad muy definido, pautas de consumo similares, objetivos de uso concretos …)  diremos que son muy homogéneos, si no es así, y en la mayoría de casos no lo sera, estableceremos grupos que presenten homogeneidad interna y heterogeneidad entre los grupos (jóvenes, adultos, amplia experiencia con tecnología, poca experiencia con tecnología)  y seleccionaremos aleatoriamente la muestra.

Los estimadores siempre tienen que ir acompañados por una  medida de su precisión por lo que la pregunta no es cuantos usuarios empleo en mi test, sino cuanta incertidumbre puedo aceptar a la hora de hacer recomendaciones de usabilidad, en otras palabras, con que seguridad puedo decir que debemos cambiar “ese botón” por que 5 usuarios han tenido problemas con él. Gota de sudor.

Raúl Páramo tiene un post muy bueno al respecto de tamaños de muestra (y al final del post esta el enlace a la calculadora de muestras para distribuciones normales ¡oro puro!).

• Significación estadística.  Son los análisis numéricos, pero eso se lo vamos a dejar a algún útil programa de calculo como  SPSS, o la alternativa código libre PSPP.

Vas a necesitar los estadísticos descriptivos para el análisis descriptivo.

La significación estadística la vamos a calcular de la siguiente forma:

1. Si se trata de una única variable continua mediante el calculo de la T de Student.
2. Si se trata de mas de una variable continua  mediante el calculo de la ANOVA.
3. Si se trata de una variable discreta mediante el calculo de Chi cudrado.

• Análisis descriptivo. Ya tienes un buen montón de datos, pero es posible que necesites resumir los datos, las formas más intuitivas es la presentación de los datos mediante algún diagrama, como por ejemplo un histograma. Recuerda que un buen gráfico siempre tiene algo de ciencia y algo de arte.

• Informe. Donde documentamos el proceso del test y los resultados obtenidos. Seguiremos el modelo CIF.

* Usability en ISO 9241-11: “the extent to which a product can be used by specified users to achieve specified goals with effectiveness, efficiency and satisfaction in a specified context of use“. Esta definición también se emplea en CIF.

———————————————————————————————

★ Quizás te interesa leer: Estadística para HCI 1. Introducción

La ciencia estadística tiene un sin fin de campos de aplicación. Dentro del HCI puedes encontrar estadística en las técnicas de Usability Engineering, como por ejemplo en los test de usuario.

Para un ejercicio responsable del Usability Engineering es imprescindible tener un mínimo conocimiento de estadística, sin que esto implique un gran dominio de las matemáticas.
Este post pretende introducción algunos conceptos básicos de estadística  que permitan entender la aplicación de la estadística a las investigaciones con usuarios.

La estadística básicamente  nos permite hacer 2 tipos de cosas: analizar grupos y aceptar o rechazar hipótesis.

Esto se plasma en los dos grandes tipos que hay de estadística, la Estadística Descriptiva y la Estadística Inferencial.

La Estadística Descriptiva es la que nos permite recoger, ordenar y analizar los datos sobre un asunto, fenómeno o problema de investigación, por ejemplo ¿cómo  son nuestros usuarios?.

La Estadística Inferencial es la a partir de una muestra extraída de una población nos permite hacer inferencias acerca de esa población, como por ejemplo ¿sí los usuarios del test realizan X todos los usuarios realizará Y?.

Es posible que encuentres difícil algunas de estas ideas, seguramente por que se emplea un vocabulario especializado. Así que vamos a empezar por acotar conceptos.

Conceptos  estadísticos básicos

• Universo o Población: es el conjunto completo de individuos sobre los que queremos generalizar las conclusiones de nuestro estudio.  Se denota como N.

• Muestra: es el conjunto de individuos que estudiamos. La muestra debe ser representativa de la población de estudio.  Se denota como n.

Un universo o población se puede describir mediante parámetros. Los parámetros se suelen representar con letras griegas. Los parámetros nos dicen que es lo que ocurre en la población y los obtenemos de los estadísticos de la muestra.
Los estadísticos son una estimación del valor del parámetro en la población.

• Parámetros: son índices que describen la población. Estos índices son toda función definida sobre los valores numéricos de una población.

• Estadísticos: son índices que describen la muestra. Estos índices es toda función definida sobre los valores numéricos de una muestra.

• Las variables: son cada una de las características o aspectos que queremos medir en la muestra. Las variables se pueden clasificar en dos grupos:

1. Cualitativas, cuando los valores no se pueden medir por que indican una cualidad (las variables cualitativas que pueden ser Nominales, cuando no pueden ordenar, por ejemplo el genero. Ordinales cuando si se pueden  ordenar, por ejemplo ante una pregunta sobre las preferencias,  estoy totalmente de acuerdo, estoy moderadamente de acuerdo…)
2. Cuantitativas, cuando los valores se pueden medir por que son un numero (las variables cuantitativas pueden Discretas, que no tienen un valor intermedio entre dos valores consecutivos,  por ejemplo numero de hijos, pueden ser 1 o 2, pero no 1.7. Continuas cuando si existen valores intermedios entre dos valores consecutivos, por ejemplo la temperatura).

• Distribución: es el registro de las distintas observaciones de una variable.

La distribución de una variable discreta es binomial y la distribución de una variable continua es normal.

Hay que tener cuidado al definir las variables del estudio porque en ocasiones estamos definiendo implícitamente la escala, por ejemplo si queremos medir la “usabilidad” en una tarea tenemos distintas formas de formular la cuestión.

• Facilidad del usuario para completar la tarea: Completada/No Completada (Variable cualitativa nominal).
• Dificultad percibida de la tarea: Alta, Media, Baja (Variable cualitativa ordinal).
• Tiempo empleado en completar la tarea en segundos: (Variable cuantitativa continua).

Como norma general, trataremos de usar variables cuantitativas continuas, porque  contienen más información, y permiten utilizar pruebas estadísticas más potentes.
Además, cuando recogemos información sobre un  dato en forma de variable cuantitativa, podemos agrupar esa información en categorías cualitativas, mientras que al revés no se puede.
De todos modos, esto no es una obligación, ya que  hay que valorar el esfuerzo que supone conseguir los datos y la viabilidad de la investigación. Estos aspectos los definiremos en el diseño de la investigación.

———————————————————————————————

★ Quizás te interesa leer: Estadística para HCI 2. Diseño de investigación

Un grupo de discusión o “focus group” se define como “un grupo cuyo objetivo es hacer una confrontación de opiniones, de ideas o de sentimientos, con el fin de llegar a unas conclusiones, un acuerdo o unas decisiones” (Muchielli, 2003).
Es importante  saber que un grupo de discusión no es un grupo de trabajo, y por lo tanto, su objetivo no es “producir soluciones”. El objetivo es que el investigador pueda documentar como los participantes intercambiar opiniones entre ellos, para obtener información acerca de percepciones, lenguaje, actitudes o motivaciones.

Se trata de que los miembros aporten ideas, pero no hay que confundir un “focus group” con un “brainstorming”. Tampoco hay que suponer que es una charla casual, se debe aplicar una metodología y fijar unos objetivos.

En teoría, los participantes del grupo de discusión deberían no conocerse entre sí. Sin embargo, en ocasiones se realizan grupos con miembros de una misma organización que si tienen relación, e incluso puede que formen parte de un mismo departamento.

Esta situación  puede suponer un problema de cara a la investigación. Para neutralizarlo se debe hacer todo lo posible para eliminar las inhibiciones de los participantes. Dejando claro el objetivo de la investigación, recordando a los participantes que la intención del grupo es recoger información sobre distintos puntos de vista  y haciendo que el grupo de discusión se desarrolle en un lugar neutro.

Como realizar un grupo de discusión

El grupo de discusión debe ser representativo del colectivo que se quiere estudiar.

Para su creación se debe seleccionar individuos que  nos permitan reproducir el discurso de la realidad investigada.

Hay que evitar la  “heterogeneidad excluyente“: esto quiere decir, no incluir en un mismo grupo individuos con diferencias muy marcadas, clásicas heterogeneidades excluyentes son:  individuos con una gran diferencia de edad pueden reproducir relaciones padre/hijo, o personas de clase social muy diferente, que pueden reproducir relaciones propietario/proletario.

Si por los objetivos de la investigación se requiere de este tipo de heterogeneidad, debemos forman grupos distintos,  cada uno de ellos  con miembros homogéneos entre si,  y compararemos los resultados de los distintos grupos, por ejemplo, para conocer las percepciones sobre un site de telefonía quizás necesitemos usuarios de teléfono móvil Prepago vs usuarios de teléfono móvil Contrato.

La selección de los participantes también suele ser problemática, un buen método para determinar los  participar es realizar una selección aleatoria.
Para ello creamos una lista de candidatos que cumplan con los objetivos de la investigación y seleccionamos 1 de cada X individuos, en función del tamaño de la lista y  del tamaño deseado para el grupo de discusión.

El tamaño ideal para una discusión en grupo está entre 7 y 10 participantes. Por debajo  de 7 se suelen monopolizar las opiniones y por encima de 10 resulta difícil de moderar por que los participantes pueden formar subgrupos y conversaciones paralelas.

El moderador del grupo o animador, es la persona encargada de coordinar y de facilitar el intercambio de opiniones entre los participantes. El moderador no puede aporta ni información ni ideas a la discusión.

El moderador debe velar para que se cumplan los objetivos de la investigación, redirigir el debate si se desvía, facilitar el intercambio de ideas entre los participantes, haciendo respetar el método que se establezca para el desarrollo de la reunión, y estableciendo la síntesis de la discusión.

Básicamente, el moderador debe reformular las aportaciones de los participantes cuando lo considere necesario, y hacer síntesis periódicas de las opiniones que van diciendo. Para lo cual puede utilizar diferentes técnicas:

• Plantear preguntas que permitan encaminadas la discusión. Se usan preguntas  abiertas en las que se exponen el tema de discusión o un punto sobre el que se quiere hacer girar la misma.

• Reformular las preguntas. El moderador expone las ideas de los participantes con otras palabras, para asegurarse de que todo el mundo entiende lo mismo.

• Sintetizar las respuestas. Cuando en el grupo se emiten diferentes ideas sobre un punto, el moderador debe confrontarlas y reagruparlas, haciendo una síntesis y recapitulando lo que se ha dicho para que todos los participantes sepan en todo momento en qué punto de la discusión están.

Hay otra figura  que es conveniente  en el grupo de discusión, es el ayudante de investigación, su función es tomar nota de lo que ocurre en el grupo, pero estas notas no deben ser una transcripción del debate, sino de los aspectos que no se pueden reflejar en la grabación. Se recomienda grabar el sonido del debate para evitar que se pierdan partes del discurso o se tomen notas sesgadas.

Trucos

• Convocar a los participantes con tiempo suficiente. Parece obvio, pero muchas veces se olvida. La convocatoria debe informar del objetivo de la sesión, el lugar, la hora, y la duración aproximada (se recomienda que no dure más de una hora).

• Las reuniones funcionan mejor por la mañana. Nadie tiene ganas de hablar a las 6 de la tarde mientras esta pensando en el atasco o en que llegará tarde.

• Colocar a los participantes de forma circular u oval. La idea es los participantes se vean unos a otros, el contacto visual facilita las interacciones entre ellos.

Referencias:

• L’Analyse qualitative en sciences humaines et sociales.
• Focus groups - how to run them.

Interaction design patterns is a solution to recurring interaction design problems. Interaction design patterns are efficiently solving recurring design problems, so you can use the patterns solution to design your site, without reinventing the wheel.

A pattern is made with one or more components. A component represents chunks of visual design and code.

When there are several patterns and then are being organised , we call this a patterns library.

You may think that if you always use patterns the whole website will look the same. But a patterns library perhaps then can be used as a take-away ideas.

References.

• Welie interaction design patterns.
• Ui patterns.
• Pattern tap.
• Yahoo design patterns.
• Design patterns of Brian Christiansen.

Extra Ball:

• 20 websites to help you master user interface desing.

• This post also available in English.

Introducción

La etnografía es el estudio descriptivo de las costumbres y tradiciones de los pueblos, por lo que su aplicación nos permite conocer la forma de vida de un grupo humano en un periodo concreto y un contexto determinado. Se basa en  el empleo de metodología cualitativa, aunque en la práctica las técnicas principales son la observación participante y la entrevista.

Como disciplina forma parte del cuerpo teórico de la antropología.

Esto puede parecer muy lejano al diseño de interacción, pero solo es una cuestión semántica, si sustituyes “pueblos”  por “usuarios”, parece razonable incluir la etnografía en el arsenal metodológico del diseño de interacción

Como llevar a cabo una investigación etnográfica

El plan es el generador, sin un plan, carecemos de orden e intencionalidad. El plan contiene en si mismo la esencia de la sensación.
Towards a new architecture, Le Corbusier
La investigación con usuarios es un proceso que permite dotar de mayor robustez a nuestras decisiones de diseño. Con lo lograras evitar malgastar mucho tiempo en discusiones. Estas haciendo ciencia, no es un pasatiempo o un detalle exótico dentro del proyecto.
La investigación etnográfica se compone de una serie de procesos que se pueden plasmar en los siguientes pasos.

# 1 Pasos previos a la investigación:

En esta fase se realizan los preparativos para llevar a cabo la investigación.  Si tu proyecto consiste en el rediseño de una aplicación web, por ejemplo, durante la fase previa deberías obtener información  sobre las funcionalidades de la aplicación,( por ejemplo ¿cuáles son las principales funcionalidades, si son las mismas para todos los departamentos, …?), los escenarios de uso, (¿todo el mundo se conecta de igual forma, se emplean equipos similares, hay varios modos de acceder a la aplicación , distintos escenarios?) el perfil o perfiles de los usuarios, (experiencia, porcentaje de uso de la aplicación en una jornada, funcionalidades más empleadas, puedo agrupar perfiles?) conocer la historia del producto (¿es desarrollo interno de la empresa, es un desarrollo de terceros, están contentos con el producto?), conocer la cultura empresarial de la compañía y lograr los permisos, recuerda que la gente esta trabajando, es posible que encuentres alguna dificultad a este respecto. Las empresas de fuerte perfil tecnológico pueden no lograr entender totalmente los objetivos de la investigación de campo, conviene tener argumentos preparados.

# 2 Investigación:

En esta fase entras en contacto con los usuarios y tratas de obtener conocimiento. Para lo cual debes fijar una agenda de entrevistas, con los distintos perfiles. Como esto puede sonar muy desconcertante para un responsable técnico. Una posible estrategia es pedir que te muestren como son sus tareas habituales, o que te den la formación que se suele aplicar a las personas que se incorporan a la empresa. Puedes emplear distintos métodos, por ejemplo una entrevista en profundidad (más información sobre entrevista en profundidad) a este tipo de investigación se le llama  investigación flexible por que los parámetros de la investigación no se encuentran definidos, esta es una de las características del análisis etnográfico.

#3 Análisis:

Ya tienes una buena cantidad de literatura, de hecho puede ser que mucha, las transcripciones de las entrevistas en si mismas no te aportan datos, y en tu cabeza cada vez esta más claro que es lo que esta mal en la aplicación.  Una buena forma de evitar el sesgo de investigador es codificando tus datos. Por ejemplo puedes definir mapas de actividades para los perfiles, y con estos contrastar los requisitos y el análisis funcional.
Si logras reducir los datos a mapas de procesos será mucho más sencillo que los objetivos de todos los implicados estén alineados.

#4 Aplicación de tu investigación:

Como afecta lo descubierto al proyecto, estos datos nos dan la certeza de que el uso de la aplicación será más satisfactorio en el futuro, como se gestionara el cambio, las mejoras afectaran drásticamente a la organización, podemos tomar opiniones vinculantes sobre la conveniencia de definir procesos según un workflow para todos los implicados.

Conclusiones

¿Por qué hacer investigación etnográfica? Por que los proyectos fallan por problemas de comunicación, más que por problemas derivados de la  tecnología. Conocer las necesidades, los deseos y las frustraciones de las personas relacionadas con el producto puede ser muy útil para lograr el éxito de tu proyecto.

En ocasiones los directores de desarrollo del proyecto, solo tienen contacto con los responsables de la compañía, que hablan en nombre de los usuarios, tomando decisiones que tienen unas consecuencias difíciles de cuantificar y prever.

Los equipos de desarrollo también pueden tomar decisiones sesgadas, basadas en sus propias opciones y gustos. Y todo esto se plasma en el interfaz y afecta al usuario final, generando disgusto y dificultades de uso.

Para evitar estas situaciones podemos realizar una investigación de campo.

Referencias:

• IDEO method carts
• Observación participante, Oscar Guash
• Etnografía, Métodos de investigación, Martyn Hamme, Paul Atkison

Design Thinking is the New Black

        en Subject to change. Adaptive Path Crew.

El Design Thinking se este convirtiendo en la nueva palabra de moda. Pero si nos abstraemos de lo prejuicios que pueden acarrear esta notoriedad puede que encontremos  un método útil para lograr productos mucho más eficientes y satisfactorios.

Además si le prestamos un poco de atención  veremos que mantiene muchos puntos en común con el  Diseño Centrado en el Usuario. Aunque el Design Thinking presta una especial atención a investigación, con acento en la investigación antropológica.

No existe una definición formal aceptada por la totalidad de la industria, pero mayoritariamente el Design Thinking se define como  una metodología de resolución de problemas, y de detección y descubrimiento de nuevas oportunidades (productos, soluciones, estrategias…) por lo que se puede aplicar a múltiples campos.

Esta capacidad de detección hace del Design Thinking se haya incluido en  los planes de estudio de muchas escuelas de negocios, y parte de la capacidad de “buzzword” que tiene la palabra proviene de ahí.

Sin entrar en estos aspectos valorativos, en este post vamos a tratar de mostrar como emplear el Design Thinking en un proyecto.

Básicamente, si pretendes aplicar el  Design thinking en un proyecto debes llevar a cabo un proceso similar al siguiente:

#1 Definición de la necesidad: el problema del conocimiento es uno de los principales causas de que un diseño se convierte en un mal diseño. La elaboración del  brief es una actividad  capital, si no sabes que necesitas resolver, con que cuentas y que se espera obtener al final, tu proyecto tiene muchas posibilidades de entrar en espirales hacia ningún sitio. (¿Recuerdas ese proyecto en el que no se avanzaba, que solo había reuniones de las que siempre salías con un cambio nuevo, y que estuvo a punto de que retomaras la senda de instalador de calderas, como te recomendó tu tía-abuela? Todos estos problemas  seguramente provengan de un mal briefing)  En esta fase debes lograr identificar cuales son las preguntas que se deben responder.

#2 Investigación: Muy bien. Ya sabemos que necesidad necesita resolver el cliente, ahora necesitamos conocer a los usuarios. Tenemos preguntas que resolver. El Design Thinking aboga por la observación como modo de investigación. Para ello parte de la premisa que las “técnicas descriptivas” comprometen los resultados, ya que la figura del moderador puede condicionar los resultados, y los usuarios experimentales pueden presentar motivaciones que generen relaciones espurias.

#3 Idealización: conoces las necesidades (1), tienes las respuestas (2), pero nadie dijo que solo hubiera una forma de hacer coincidir ambas cosas. De hecho, es posible que encuentres múltiples posibles soluciones a un mismo problema. Parece que la forma más eficiente de enfrentarlo es mediante un equipo. Este enfoque aboga por la eficiencia de 5 personas trabajando 1 día sobre un mismo problema, que 1 persona trabajando 5 días. De los equipos multidisciplinares  suelen salir muchas ideas interesantes. ¿Por qué no hacer un Frankenstein con las mejores?

#4 Prototipado: Habitualmente desde Diseño Centrado en el Usuario se prototipa la idea vencedora. El Design Thinking aboga por prototipar el set de ideas vencedoras del proceso de idealización y testarlas. Si las cosas no salen como deben, regresa al paso anterior y vuelve a probar.

#5. Elección: en función de los datos debería ser sencillo elegir la mejor Frankenstein-Idea. Además ya la has probado, por lo que seguramente puedes aportar información de utilidad para campaña de promoción del producto.

#6. Implematación: Es hora de elaborar tu producto… aquí sigues el ciclo normal de un proyecto, con la metodología propia de la casa (existen muchas filosofías de desarrollo cada una con sus virtudes y defectos).

#7. Aprendizaje: después de todos estos pasos, no te olvides de documentar. ¿Qué se documenta? Todo el aprendizaje que has obtenido en el proyecto. Por ejemplo si has empleado una técnica de Rol Play basada en simular “un día en la vida del usuario” y has detectado que la técnica funciona mejor si  se graba en vídeo, documéntalo para futuras referencias.

¿Porque esta metodología?

Porque esta forma de abordar los proyectos nos lleva a enfrentar la “CREENCIA” y la “OPINIÓN” con la “OBSERVACIÓN” y el “ANÁLISIS”. Es decir, no diseñas por que el (…Cliente, Diseñador, Equipo …) “CREE” que los usuarios hacen, necesitan o quieren  sino por que tienes “DATOS” de lo que los usuarios hacen, necesitan y quieren del producto.

Porque si hechas en falta análisis e investigación en tus proyectos  puede ser la solución, al establecer estas necesidades dentro del management del proyecto.

Así, se puede concluir que la principian diferencia entre el Diseño Centrado en el Usuario y el Design Thinking es  que se  ha pasado de una técnica de diseño a una estrategia de negocio. Aunque ambas presentan un enfoque similar y compatible.

Referencias:

• Dschool de StanfordUniversity
• Design Thinking… What is That? en FastCompany
• Reflexiones sobre la definición de Design Thinking
• Listado de confrerencias TED sobre Design Thinking