Conoce en qué momento debes parar tu experimento sin llegar a perder resultados. Trabaja con las herramientas de testing y apuesta por una landing ganadora.
👇 Y tras este podcast, el curso online ¡Conviértete! continúa aquí 👇:
✍🏻 Transcripción del vídeo:
Pese a que las herramientas de testing son sofisticadas, sus algoritmos matemáticos suelen tardar un tiempo en arrojar resultados, por ello, podremos vernos obligados a darle al botón de Stop y detener el test.
Un concepto importante si trabajas con herramientas de testing es la significancia estadística.
Un experimento con significancia estadística indica que los resultados obtenidos no han sido fruto del azar o de factores externos puntuales. Cuentan con la suficiente cantidad de muestra para asegurar que, si lo reprodujésemos más veces, los resultados se mantendrían.
La significancia estadística viene representada desde el 0 a 100%. Cuanto más alto sea ese valor, más fiables serán los resultados.
Cuando hablamos de testing, el valor óptimo de significancia estadística se sitúa en el 95%. En ese caso, podríamos afirmar que nuestros experimentos son fiables.
Llegar a este porcentaje no siempre es posible porque precisa de un volumen de tráfico grande.
En sitios Web con pocas visitas, pueden pasar meses hasta que el test recoja la suficiente muestra como para lograr un alto valor de significancia.
En ocasiones, un proyecto CRO no puede esperar a que se produzcan resultados para optimizar sus procesos. ¿Hay alguna opción de reducir ese tiempo de espera? Sí la hay, pero esa opción comporta un riesgo considerable.
Imagina que has lanzado un test A/B para optimizar tu landing. Lleva 3 semanas en marcha y la herramienta no muestra ninguna versión ganadora, pero necesitas tener una respuesta para iniciar otras acciones.
Dentro de tu herramienta de testing, consultas la evolución de los datos y la variante 1 cuenta con una tendencia creciente y el experimento ha alcanzado una significancia estadística del 80%.
Pensamos en detener el experimento y quedarnos con la variante 1, pero esperamos a que la herramienta nos dé el resultado definitivo, el cual tarda una semana más.
Si esa variante resultase ser la ganadora, podríamos decir que durante esa semana extra hemos dejado de recoger beneficios en nuestra landing page. Si hubiésemos detenido el experimento y aplicado los cambios, todas las personas que hubiesen llegado hasta ella habrían convertido mejor de lo que lo hacían antes del experimento.
Te planteamos la situación contraria. Imagina que hemos detectado que una variante está registrando mejores resultados y cuenta con un porcentaje de significancia estadística considerable.
Decidimos parar el experimento e implementarlo antes de que la herramienta nos dé su veredicto final. Pero, al finalizar el experimento, nos topamos con que ha habido un cambio de tendencia y esa variante no resulta ser la ganadora. Habremos apostado por una opción errónea.
Estos dos planteamientos están relacionados con un concepto conocido como «coste de oportunidad». Lo recomendado es esperar hasta que la propia herramienta nos dé un veredicto firme.