El testing en remoto en el marco del COVID-19

A medida que la pandemia del COVID-19 continúa obligando a las personas a trabajar desde casa, las empresas se están acogiendo a nuevas formas de trabajo remoto. Afortunadamente, los investigadores de UX  llevan décadas trabajando en estudios de manera remota por lo que a día de hoy, existen muchos métodos y herramientas disponibles para ayudar en esta situación. Dicho esto, no lo enfocamos desde la misma perspectiva. La mayoría de los investigadores de UX se han centrado hasta ahora en métodos presenciales, en los que la experiencia de la investigación en remoto puede ser algo limitada.

Es por ello que en UX Alliance hemos dedicado una serie de artículos a la investigación en remoto, siendo este uno centrado en la realización de test con usuarios en remoto que cubre una amplia variedad de enfoques.

Los test en remoto son subestimados por un alto número de investigadores de UX.  Los test en persona son esenciales para diferentes estudios (especialmente para la investigación exploratoria y contextual); sin embargo la investigación en remoto también tiene muchas ventajas. Es importante destacar esta idea durante el periodo de pandemia con el COVID-19, pero también esencialmente importante hacerlo a posteriori, logrando así un mayor equilibrio entre los métodos de investigación presenciales y en remoto. ¿Podrá este ser un inesperado efecto positivo del COVID-19?

Introducción a los test con usuarios en remoto

Antes de entrar en más amplio detalle, es importante señalar que existe una gran variedad de métodos de test en remoto y más aún una gama de herramientas y servicios.

Para aportar una mejor visión general, los hemos agrupado en tres grupos:

1. Testing en remoto moderado

Este es el método que más similitud tiene al de un test presencial con el usuario.  Existe un moderador y un usuario y ambos interactúan en tiempo real.  El rol del moderador es observar al usuario mientras este intenta completar la tarea y realizar preguntas de seguimiento a medida que este avanza en la tarea.

En el testing en remoto moderado se pueden obtener valiosos comentarios cualitativos que no podrían obtenerse de otra manera, salvo con un moderador. Si el usuario  deja de pensar en voz alta, el moderador puede preguntar qué está pensando, o si no comprende una tarea, el moderador puede proporcionar una aclaración. Todo ello hace que el testing moderado sea el método ideal para realizar estudios en los  primeros prototipos y/o funcionalidades complejas, por ejemplo.

2. Testing en remoto no moderado

El testing en remoto sin moderar se realiza por el usuario en su propio tiempo y sin un moderador. Este test se realiza partiendo de un guión escrito que se proporciona al usuario, y que puede contener preguntas adicionales o no. Existen herramientas especializadas como App Quality, User Testing, UserFeel o Userlytics se utilizan ampliamente para este propósito. Permiten compartir un enlace al producto o prototipo y subir un guión con instrucciones detalladas para realizar el test.

Aunque son herramientas para el test no moderado, permiten también la investigación cualitativa ,al pedir a los participantes que realicen las tareas pensando en voz alta (técnica de thinking aloud)

Las herramientas graban ese comentario de audio del participante junto con la grabación de su pantalla y, en algunos casos, la cámara web del usuario. Los investigadores tienen acceso a estos datos directamente tras finalizar la prueba.

Los test en remoto no moderados permiten recopilar rápidamente comentarios de múltiples participantes. El reclutamiento de los mismos suele ser rápido y varios de ellos pueden completar el test al mismo tiempo, por lo que no es necesario que el moderador defina horarios definidos para realizar estas sesiones.

La ausencia del moderador y lugar físico para realizar los test también reduce los costes en este tipo de pruebas y la mayoría de las herramientas utilizadas en este tipo de test cuentan con su propio servicio de reclutamiento de participantes para realizarlas, lo cual facilita mucho su realización.

La principal desventaja de este tipo de test no moderado es que no permite preguntas de seguimiento al usuario o aclaraciones. Por ello, este no sería un método recomendado para el estudio  de prototipos que requieren asistencia o una amplia exploración de conceptos e ideas.

3. Testing en remoto cuantitativo

Los test con usuarios tienen normalmente como objetivo el recolectar datos cualitativos, que aporten una idea del “cómo” y el “por qué” del comportamiento del usuario.

Sin embargo si el objetivo es centrarse en datos como el “qué” y “cuántos”, los métodos cuantitativos serán más útiles ya que permiten medir la usabilidad a lo largo del proceso o persuadir a stakeholders más orientados a datos.

Los test cuantitativos  con usuarios son siempre moderados y se centran en métricas como el tiempo dedicado a la tarea, la tasa de éxito, y el grado satisfacción  y/o de dificultad percibido.

La mayoría de herramientas para test no moderados ofrecen una combinación de métricas cuantitativas y cualitativas. Algunas plataformas para la realización de pruebas cuantitativas están especializadas en algunos dominios, como la arquitectura de la información. Incluyen heatmaps, scroll maps o site maps ( tree testing).

Es muy bueno tener una visión general entre estos métodos pero ¿cómo elegir cuál es el más conveniente en cada caso? A continuación se exponen las ventajas e inconvenientes de cada uno de ellos. Además, se añaden  datos relativos al reclutamiento y muestra de usuarios.

Cuándo utilizar Testing en remoto moderado

El testing en remoto moderado es una excelente alternativa para la investigación en persona. En muchos sentidos, permite un test típico en el que se puede observar el comportamiento del usuario y el moderador puede realizar preguntas directamente allí.

Las ventajas de este método son las siguientes:

• Se puede utilizar en estudios de  prototipos que requieran asistencia: el moderador puede solicitar acciones e intervenir si el usuario se bloquea  debido a los límites de la interacción.
• Se puede probar en el contexto real de los usuarios.
• Se puede hacer preguntas de seguimiento cuando se  observe un evento inesperado o un comportamiento del usuario.
• No requiere de un guión de tareas estático  ya que el moderado agrega flexibilidad al estudio.

Las debilidades de este método son:

• No se puede controlar la configuración en la ubicación de los usuarios. Pueden surgir sonidos inesperados.  (Ej.: perros ladrando e hijos interrumpiendo).
• Es complicado llevarlo a cabo en dispositivos móviles: configurar una plataforma adecuada para compartir la pantalla del móvil del participante puede ser difícil y no se pueden observar los gestos con las manos del usuario.
• La moderación y el análisis requieren tanto tiempo como las entrevistas en persona y son igualmente caros. Por lo tanto, sería más adecuado para un tamaño de muestra relativamente pequeño.
• La calidad de los datos recopilados a menudo depende de la calidad de la conexión a Internet (por lo tanto, no sería  adecuada para usuarios ubicados en áreas de bajo ancho de banda). La calidad de la conexión a Internet de los usuarios antes de cada entrevista debería de ser evaluada antes de la realización del test.
• La traducción simultánea puede ser algo difícil de configurar. Como ejemplo se muestra esta ilustración para una prueba remota real utilizando la aplicación Zoom. En esta situación, el moderador y el participante del test hablan holandés, mientras que la persona que toma las notas y el cliente tendrían que escuchar la transmisión de  audio traducida.

Este tipo de test se utiliza especialmente en las primeras etapas de desarrollo de un producto. El prototipo probablemente requiere de cierta orientación para realizar las tareas y las incógnitas sobre la motivación y comprensión del usuario pueden requerir investigación en la sesión. Este tipo de test es muy bueno para responder a la pregunta “por qué”, y obtener así comentarios sobre las motivaciones y comportamiento de los usuarios.

Cuándo utilizar Testing en remoto no moderado

En ocasiones la velocidad del proyecto, la necesidad de obtener una muestra grande o las restricciones presupuestarias van en contra del uso de métodos moderados. En esos casos, es posible utilizar testing en remoto sin moderar, usando una variedad de servicios y plataformas, las cuales ofrecen fácil acceso a una amplia audiencia de usuarios que pueden trabajar en paralelo, uniéndose al estudio cuando estén disponibles. Esto hace que la fase de recopilación de datos sea extremadamente rápida, ya que los participantes pueden completar sus sesiones simultáneamente.

Testing en remoto no moderado:

los usuarios reciben instrucciones de realizar la tarea verbalizando sus acciones, impresiones y sentimientos (técnica Thinking Aloud). El audio / video de la sesión se graba y se recopila para su posterior análisis.

Las principales ventajas de los test en remoto no moderados son:

• Es posible ver la grabación de audio / video de acciones y comentarios del usuario para identificar las razones de los comportamientos y las métricas.
• Es posible tener una idea del estado emocional de los participantes y su frustración a partir de pistas visuales de sus expresiones (si tiene una cámara web) y voz.
• La recopilación de datos para muestras grandes es más rápida que con test moderados.
• El reclutamiento se puede hacer fácilmente a través de plataformas de crowdsourcing (donde los participantes se unen de forma voluntaria y solo son controlados por un cuestionario de selección), el reclutamiento a través de este método puede ser asombrosamente rápido (días en lugar de semanas).
• Los test  en varios idiomas pueden ser realizados por un solo equipo, ya que pueden ser respaldados por traductores para localizar la prueba y también traducir comentarios verbales al finalizar la misma. Nota: todavía se necesita cierta comprensión del idioma local para verificar la traducción de un usuario.

Las principales desventajas de este tipo de test en remoto no moderados son:

• Por norma general, se requiere la misma cantidad de tiempo para analizar que en el caso de test  moderados, ya que el investigador  tiene que ver las grabaciones de la sesión. Es posible ver sólo algunas de las sesiones (basado en una revisión de las métricas de rendimiento registradas), pero esto compromete la calidad del análisis.
• Solo es adecuado para prototipos que no requieren asistencia durante los test, ya que no hay moderador para explicar o proporcionar orientación al usuario. Cuando los usuarios se bloquean en una tarea, la abandonan sin posibilidad alguna de recuperarla.
• Las preguntas posteriores a la tarea y al examen están preestablecidas y no pueden profundizar en  la comprensión de todo lo registrado a lo largo del test. El comportamiento imprevisto no puede ser cuestionado en este caso.
• Requiere una preparación seria de guiones de preguntas estrictas  (sin flexibilidad), lo cual lleva implica mucho tiempo de trabajo previo al test.

Cuándo utilizar testing en remoto cuantitativo

Test en remoto  cuantitativo: en este caso  los usuarios del mismo  realizan las tareas y solo se registran sus clics e interacciones, así como las preguntas posteriores a la tarea y tras el test. Por norma general, no hay grabación de audio y video de la sesión y no requiere un análisis retrospectivo.

Existen varias plataformas para realizar este tipo de test en el mercado que permiten a los usuarios  completar las sesiones en remoto, por su cuenta, sin la necesidad de que esta sea grabada.

Las principales ventajas del testing en remoto cuantitativo son :

• El test está completamente automatizado, por lo tanto, hay una cantidad mínima de trabajo que realizar para recopilar los datos obtenidos.
• El análisis y los informes también se pueden automatizar parcialmente registrando clics y rutas de navegación, así como métricas de rendimiento (como el tiempo en la tarea) y las métricas de autoinforme de los usuarios.
• Las plataformas de testing  pueden ayudar a dar sentido a los datos mediante el uso de algoritmos para facilitar su posterior análisis.
• Se puede medir cuantitativamente el rendimiento y los errores llevados a cabo, en una escala estadísticamente significativa, ya que una muestra de usuarios  más grande no se traduce en una mayor cantidad de tiempo para el posterior análisis de los datos.
• Los datos cuantitativos pueden ser persuasivos para las los stakeholders, ya sea por sí mismos o en combinación con datos cualitativos.
• Los test cuantitativos permiten una comparación confiable de los resultados de las pruebas a lo largo del tiempo (evaluación comparativa).

Las principales desventajas de los test en remoto cuantitativos son :

• No es posible determinar fácilmente las motivaciones y las razones detrás del comportamiento detectado en los usuarios. Por ejemplo, se puede descubrir cuántos participantes hicieron clic en el botón “Atrás” en una página. Sin embargo, no se sabría si lo hicieron porque el método de pago deseado no está disponible o porque la llamada a la acción en la página no es suficientemente clara.
• La falta de moderación y la grabación de video en vivo limita las ideas que se pueden recopilar sobre las opiniones e impresiones de los usuarios a las preguntas que se han  diseñado de antemano y llevado a cabo en el test. Una posible solución sería incluir preguntas abiertas en la tarea posterior y el cuestionario posterior al test, sin embargo, esto alargaría la cantidad de tiempo necesario para el análisis.

Las pruebas automatizadas puramente cuantitativas no incluyen la técnica del thinking aloud  y grabar videos. Es completamente diferente a otros métodos de test en remoto y no reemplaza a los test moderados. Es útil cuando el alcance del proyecto es limitado y cuando se tienen preguntas simples para respuestas directas. Es más adecuado para las etapas posteriores del proceso de desarrollo de un producto; cuando el diseño está casi terminado y existen algunas preguntas directas sobre las características del mismo.

Otras formas de test cuantitativo no moderado existentes son las que se utilizan en el diseño de la arquitectura de la información, como el card sorting o el tree testing. En esos métodos, el objetivo es determinar el modelo mental de información o su adherencia a una arquitectura de información, por lo que la falta de comentarios y thinking aloud de los usuarios  es un pequeño sacrificio, en comparación con las ventajas de un análisis  automatizado en sus resultados, recopilados de una gran cantidad de usuarios.

Reclutamiento y tamaño de la muestra de usuarios

¿Cuántos participantes se deben de considerar para la realización de test en remoto? En general, las consideraciones para los test regulares  en persona son válidas: la investigación cualitativa se puede realizar en una pequeña muestra de pocas personas hasta decenas. Esto se debe a que opta por la calidad frente a la cantidad: información detallada en lugar de una validación estadísticamente significativa. En este caso, el mejor método es el test  moderado, ya que cuenta con la guía de un moderador para comprender mejor y explorar esas ideas.

Si ya se tiene una mayor comprensión del problema, pero se desea recopilar comentarios articulados de los usuarios, también serían válidas las pruebas no moderadas  si la plataforma permite grabar Thinking Aloud. En este caso, también sería idóneo un tamaño de muestra de usuarios  relativamente pequeño para mantener el esfuerzo de análisis y escuchar las grabaciones; lo más corto posible. Si se está investigando un evento o comportamiento en particular que puede rastrearse (por ejemplo, un clic en una llamada a la acción), es posible que se necesite una muestra grande de usuarios que  permita filtrar a los participantes en aquellos en los  que desea centrar el test . Existen  algunas plataformas que realizan test remoto no moderadas (por ejemplo , UserTribe o  AppQuality) que ofrecen a los investigadores  que deleguen en público las grabaciones de Thinking Aloud de los usuarios. Estas plataformas son eficaces para ahorrar tiempo, pero generalmente tienen un coste comparable al de realizar el test directamente por la propia empresa.

Si el objetivo del estudio es lo suficientemente simple como para ser respondido mediante la realización de test remotos no moderados sin grabación de sesión y se desea utilizar un tamaño de muestra de usuarios grande, definitivamente debe de considerarse la prueba cuantitativa. Esto se indica especialmente cuando se desea comparar métricas de rendimiento precisas de soluciones alternativas. En este caso, una muestra de decenas o incluso cientos de participantes sería muy valiosa para obtener resultados significativos.

La mayoría de las herramientas actuales  de test en remoto  incluyen servicios de reclutamiento, ya sea basados ​​en un panel de usuarios , o mediante un  reclutamiento a través de las redes sociales (reclutamiento público). Esto proporciona un reclutamiento rápido (cuestión de días en lugar de semanas), pero la calidad de la muestra de usuarios obtenida puede verse afectada si no se tiene cuidado. Se recomienda  tener especial cuidado al diseñar un criterio de selección  para excluir a los usuarios que no son relevantes para el  estudio (con criterios claros de exclusión) y hacer obligatorio completar el cuestionario para ser admitido en el mismo. Es posible que se  desee incorporar cierta redundancia en la  muestra por seguridad.

Conclusión: añade el test remoto a tus estudios con usuarios

Los test con usuarios son demasiado importantes para ser ignorados en el marco del Covid-19. Por lo tanto, muchos investigadores de UX están considerando seriamente los test en remoto  por primera vez. Afortunadamente, existen métodos, herramientas y servicios bien establecidos a día de hoy para llevarlos a cabo.

Este artículo muestra  lo que los test en remoto pueden ofrecer, especialmente en comparación con los test en persona. Y en un mundo restringido de Covid-19, las ventajas de los test en remoto se hacen aún más evidentes. Instamos a todos los investigadores de UX a familiarizarse (más) con el test en remoto. Ya sea durante la pandemia de Covid-19 o después, los test en remoto son algo muy positivo que añadir a un sistema de trabajo.

Esperamos que este artículo haya aumentado tu conocimiento acerca de  los métodos disponibles en test en remoto. No dejes que la complejidad de los métodos avanzados te asuste; lo básico no es tan difícil. Después de todo, ¡es solo otra forma de hacer investigación con usuarios!

Si este artículo te ha parecido interesante, puedes consultar otros artículos que hemos publicado. Se centran en otros aspectos de la investigación de UX en el marco del Covid-19.

Gracias por leernos. ¡Esperamos que estéis bien y compartáis vuestros comentarios con nosotros!