Aprendiendo a experimentar como astronautas

En The Martian a Mark Watney le toca vivir una situación que parecía imposible de resolver: sobrevivir en Marte, solo, con muy pocos recursos. Después de un par de ataques de ansiedad, el tipo dijo yo soy científico y voy a resolver todo con ciencia. Arrancó a experimentar de forma metódica, documentar todo lo que hacía y a encontrar aprendizajes en el proceso.

No te voy a mentir, en marketing a veces estamos en situaciones que parecen igual de imposibles de resolver, aunque por supuesto, menos dramáticas. Tenemos recursos limitados, presión por resultados y la necesidad de tomar decisiones rápidas. La diferencia es que, a diferencia de Mark, muchos equipos "prueban cosas" sin hipótesis, solo por intuición, o por seguir a algún referente del mercado.

Hablemos de experimentación, el método científico y cómo tu equipo de marketing o growth puede empezar a adoptar una cultura de experimentación.

¿Qué es realmente un experimento?

Siguiendo la teoría, un experimento es un proceso diseñado para probar una hipótesis y generar conocimiento válido. Los elementos más importantes de un experimento son una hipótesis clara y medible, un grupo de control, una variable que podemos manipular, métricas para dimensionar el impacto y un proceso documentado que se pueda repetir.

El proceso base: entramos en modo ciencia

Sea para un proyecto personal, una empresa o equipo pequeño o incluso para la corporación más grande del mundo, siempre hay alguien que va a tener ideas de cómo hacer las cosas mejor, en este caso, partiendo de la idea le vamos a dar forma a un experimento, el paso a paso debería ser más o menos así:

1. Identificar la oportunidad de mejora: estudiando los datos de tus clientes, escuchando entrevistas a usuarios, revisando la documentación de tu producto, etc. No importa de dónde viene, la clave está en darse cuenta de que hay algo que puede mejorar.

2. Escribir una primera hipótesis: "si enviamos más mails, nuestros clientes nos van a leer más" Esta puede ser una primera versión, el desafío está en refinarla al máximo para llegar a una hipótesis sólida, relacionada con el negocio y que sea fácil de medir, por ejemplo: "tomando en cuenta que nuestros usuarios más activos abren emails los martes por la mañana, creemos que cambiar nuestro newsletter de viernes a martes aumentará la tasa de apertura en un 15%"

3. Diseñar y poner en práctica el experimento: teniendo en cuenta el tamaño de muestra, duración del experimento, métricas de control y criterios de éxito/fracaso, o sea, cómo sabemos si la hipótesis es válida o no.

4. Analizar los resultados e incorporar los aprendizajes: el análisis no es solo determinar si "funcionó o no". Es importante comparar resultados con la hipótesis, identificar efectos secundarios y documentar aprendizajes.

¿Qué hace que un experimento sea realmente valioso?

Elena Verna, experta en growth (ex Miro, Dropbox, Ampitude, etc) lo explica mejor que nadie: “Un buen experimento responde una pregunta importante sobre tu negocio. Un mal experimento solo cambia un botón de color y espera lo mejor.” En ese sentido podríamos decir que los mejores experimentos:

1. Están alineados con la estrategia de negocio.

   • Como te dije antes, no se trata de probar cosas por el hecho de probar, sino de responder preguntas que realmente impacten el crecimiento de la empresa.

2. Producen aprendizajes que se pueden reutilizar.

   • Un buen experimento no solo mejora una métrica, sino que nos enseña algo valioso sobre nuestro producto, o el comportamiento de nuestros clientes

3. Son criteriosos y se ejecutan con rigor

   • Usan grupos de control, manipulan una variable a la vez y tienen suficiente tamaño de muestra para ser concluyentes.

Hay un caso muy conocido de Google, el experimento se llama “50 tonos de azul”. Y tal como dice el título, probaron diferentes tonos de azul en los links de Google Ads. ¿Qué encontraron? Descubrieron una variación que generó $200 millones de dólares adicionales en facturación.

¿Por qué fue un buen experimento? Porque estaba alineado con una pregunta importante (¿cómo podemos maximizar la performance en nuestros anuncios?), generó un aprendizaje reutilizable y se realizó con rigor estadístico.

Cómo estructurar un experimento de la forma correcta

1. Definir una hipótesis clara.

   • Mala hipótesis: “Probemos cambiar el mensaje de bienvenida.”

   • Buena hipótesis: “Si hacemos el mensaje de bienvenida más específico sobre el beneficio del producto, aumentará la conversión en un 10%.”

2. Seleccionar una métrica primaria y prestar atención al contexto.

   • No basta con medir conversiones. También debes monitorear métricas secundarias para evitar efectos negativos (por ejemplo, un aumento en CTR podría reducir la calidad de los leads).

3. Usar un grupo de control.

   • Sin un grupo de control, no puedes atribuir cambios con certeza. Al final esto es método científico, hay que comparar.

4. Ejecutar con suficiente tamaño de muestra.

   • Un error común es sacar conclusiones demasiado rápido. Experimentar con 200 visitas no te dará datos estadísticamente significativos. El tamaño de tu muestra tiene que estar relacionado con el volumen de clientes, leads o usuarios que quieres experimentar.

5. Analizar y documentar.

   • No se trata solo de ver si “funcionó” o no, sino de aprender qué insights puedes aplicar tu producto, o en futuros experimentos.

Ejemplos reales de experimentación en marketing

Dell aprovechó el cliché del nerd en Reddit para construir confianza con su audiencia

Hipótesis: crear contenido cercano y basado en la comunidad dentro de Reddit ayudaría a cerrar la brecha de confianza con los tomadores de decisión en IT.

Dell lanzó la campaña "I.T. Squad” para probar si el humor y el storytelling nativo de plataformas podían reducir la desconfianza del 49% que los compradores de IT tienen hacia los proveedores tecnológicos.

El experimento consistió en crear una serie de comedia protagonizada por expertos de IT ficticios resolviendo problemas reales que aparecían en Reddit. Además, hicieron sesiones AMA (Ask Me Anything) con influencers de la industria para profundizar en los temas técnicos.

Resultados y aprendizajes:

• 72 millones de impresiones y un crecimiento del 1,000% en seguidores demostraron que cuando el contenido se alinea con los intereses de la audiencia, el impacto es enorme.

• Los compradores de TI interactuaron más con contenido que resolvía problemas específicos discutidos en foros comunitarios, en lugar de mensajes de producto genéricos.

• Las tasas de reproducción de los videos fueron un 35% más altas que los anuncios tradicionales, lo que confirmó que el contenido narrativo supera a los formatos publicitarios directos en B2B.

Airbnb no asumió que las fotos eran importantes: lo probó con un experimento real

Hipótesis: en la plataforma la calidad de las fotos es el aspecto más importante. El precio, ubicación y otros detalles son secundarios.

Los fundadores de la empresa encontraron 24 propiedades en Nueva York y enviaron fotógrafos profesionales a documentarlas.

Resultados y aprendizajes:

• Las propiedades con fotos profesionales generaban 2-3 veces más ingresos. Este experimento no solo validó una hipótesis, sino que llevó a la creación de un nuevo servicio: fotógrafos profesionales para los host, contratados directamente por Airbnb.

Errores comunes cuando empezamos a experimentar:

1. Correr más de un experimento al mismo tiempo: si cambias el copy, el diseño y el onboarding al mismo tiempo, es imposible saber qué fue lo que cambió los resultados

2. No tener un escenario base: antes de cualquier experimento, necesitas saber exactamente dónde estás parado. ¿Cuál es tu tasa de conversión actual? ¿Cuál es tu tasa de retención? Sin estos números base, es imposible medir el impacto real de tus cambios.

3. Ignorar el tamaño de la muestra: si tu landing page recibe 100 visitas al mes, necesitarás varios meses para obtener datos estadísticamente significativos en un A/B test.

¿Quieres experimentar hoy mismo? Te recomiendo esto

Todo proceso de experimentación arranca con una idea. Mi recomendación es que esta misma semana crees tu "log de Experimentos", puede ser tan simple como un Excel con estas columnas:

• Fecha

• ¿Qué vamos a cambiar?

• ¿Por qué creemos que funcionará?

• ¿Cómo mediremos el resultado?

• Resultado

• Aprendizajes

La próxima vez que alguien diga "probemos esto", en lugar de simplemente hacerlo, frena, y tómate 5 minutos para documentarlo en tu log. En tres meses, tendrás un registro de experimentos, con resultados de lo que funciona y no funciona para tu empresa.

Algunas vacantes interesantes que vi esta semana:

• Growth Marketer para Finnovista en Madrid o CDMX

• Director de Marketing para Pulppo en Buenos Aires o CDMX

• Product Marketing Manager para Yalo en Latam