Diseño de experimentos: prueba el supuesto más arriesgado antes de construir
Aplica este método en IdeaHone
Crea un espacio con las entidades y los criterios de puntuación de este método, listo para tu próxima sesión.
La mayoría de las pruebas de innovación no son pruebas. Un equipo «prueba un tiempo la estación de recarga en una tienda», la mira al cabo de un mes y decide según cómo se siente. Si los números son buenos, fue un éxito. Si son malos, fue demasiado pronto, hizo mal tiempo, la señalización era pequeña. Nada iba a parar la idea, porque nadie dijo de antemano qué la pararía. Un experimento de verdad fija tres cosas antes de empezar: qué crees, cómo lo sabrás y qué harás con cada resultado posible.
La tarjeta del experimento
Escribe una tarjeta por supuesto. Cabe en una pantalla y lleva 20 minutos con las personas que actuarán según el resultado.
- Creemos que los clientes habituales traerán su propia botella.
- Lo sabremos cuando recarguen en la estación.
- Público: clientes habituales de la tienda Centro.
- Método: concierge, una persona del equipo recarga a mano durante dos semanas.
- Métrica y umbral: al menos 20 recargas por cada 100 tickets.
- Si lo alcanzamos, lo extendemos a tres tiendas.
- Si no lo alcanzamos, paramos la estación.
- Responsable y fecha: Ana lo revisa el 31 de marzo.
Las dos últimas líneas son las que los equipos se saltan y las que más importan. Una vez escritos el umbral y las consecuencias, decide el resultado. Después, nadie puede mover la línea.
Diseñarlo en 20 minutos
- Empieza por el supuesto más arriesgado. El que es importante y tiene menos evidencia: arriba a la derecha en un mapa de supuestos. Probar un supuesto seguro parece productivo y no enseña nada.
- Escribe la creencia como una frase sobre comportamiento. «A los clientes les gusta recargar» no puede fallar. «Los clientes habituales traerán su propia botella» sí.
- Nombra la señal que podrías observar. ¿Qué verías, contarías u oirías si la creencia fuera cierta? Si no se puede observar, reescribe la creencia.
- Elige el método más barato que produzca la señal. Habla con personas cuando necesites saber por qué; usa una landing page o un concierge cuando necesites saber si actúan. Construir va al final.
- Fija el umbral antes de que nadie vea un resultado. Un número y una dirección: al menos 20, como mucho 5 minutos. Elige el número con el que cambiarías tu plan de verdad.
- Escribe qué haces a cada lado. Por encima: el siguiente paso, normalmente una prueba mayor. Por debajo: parar o cambiar la idea. La línea de por debajo se convierte en el criterio de cancelación de la decisión.
- Dale una persona responsable y una fecha de fin. Dos semanas es un buen valor por defecto. Esa persona anota el valor medido en esa fecha, y la tarjeta dice qué pasa después.
Elegir el método
| Método | Responde | Coste |
|---|---|---|
| Entrevistas con clientes | Por qué la gente hace lo que hace | Unos días |
| Encuesta | Cuánta gente dice algo | Días, pero dice, no hace |
| Landing page | Si la gente se apunta antes de que exista | Un día y algo de tráfico |
| Prototipo | Dónde se atasca la gente | Días a una semana |
| Concierge | Si el valor funciona, hecho a mano | Una a dos semanas |
| Mago de Oz | Si lo usan cuando parece real | Una a dos semanas |
| Test A/B | Cuál de dos versiones funciona mejor | Necesita tráfico suficiente |
| Piloto | Si funciona en condiciones reales | Semanas, y dinero real |
Si dos métodos podrían responder la pregunta, elige el que puedas empezar esta semana. Una prueba pequeña que se hace gana a una perfecta que espera presupuesto.
Dónde fallan los experimentos
- El umbral llega después del resultado. «11 recargas no está nada mal para empezar.» Si la línea se puede mover, nunca fue una prueba. Escríbela primero y anota por qué, si aun así decides otra cosa.
- Probar el supuesto cómodo. Los equipos prueban lo que esperan que salga bien. El supuesto que mataría la idea es el que hay que probar primero, porque su respuesta ahorra más dinero.
- Sin decisión asociada. Un resultado sin «entonces» es un informe. Cada tarjeta dice qué pasa por encima y por debajo del umbral.
- Cambio de rumbo sin registro. Cambiar la idea tras no alcanzar el umbral suele ser lo correcto. Regístralo como decisión con el resultado y el motivo, y diseña la siguiente tarjeta, para que el equipo vea después por qué cambió de rumbo.
Puntúa y prioriza ideas con tu equipo
IdeaHone puntúa las ideas según tus criterios, las muestra en una matriz y guarda los motivos, para que la decisión sea clara y trazable.
¿Qué es el diseño de experimentos en innovación de producto?
Convertir un supuesto en una prueba pequeña con una hipótesis fija, una señal observable, un método, una métrica con umbral y una decisión para cada lado del umbral, todo fijado antes de empezar.
¿Cómo es una buena hipótesis?
«Creemos que [comportamiento de un grupo concreto]. Lo sabremos cuando [señal observable].» La creencia tiene que poder ser falsa; si no, no vale la pena probarla.
¿Cómo se fija el umbral?
Pregúntate qué resultado cambiaría tu plan de verdad. Usa el número con el que pararías, no el que esperas, y escríbelo antes de los primeros datos.
¿Qué es un cambio de rumbo (pivot)?
La decisión de dejar de probar la forma actual de una idea y probar otra para el mismo problema. Regístralo como cualquier decisión, con el resultado medido y el motivo, y diseña enseguida el siguiente experimento.
