Métricas de Vanidad vs. Métricas Procesables

Las métricas y la medición están en el corazón del enfoque Lean Startup y los métodos ágiles de desarrollo de productos. Sin embargo, la medición por sí sola no es suficiente: el éxito proviene de medir las cosas correctas. Esta es la diferencia entre las métricas de vanidad y las métricas procesables.
En Boldare, vemos el desarrollo exitoso de productos digitales como un arte y una ciencia. Lograr un código elegante y funcional o una interfaz de usuario perfecta e intuitiva requiere un alto grado de estilo, pero el proceso también requiere un elemento de rigor científico, idear y probar hipótesis y, lo que es más importante, seguir lo que nos dicen los resultados, no lo que deseamos que ellos nos dijeran.
Así es como entendemos el concepto del propietario del producto y las necesidades de los usuarios y podemos crear ese código elegante y una interfaz de usuario intuitiva.
Sí, construir un producto exitoso es tanto arte como ciencia. Pero, ¿cómo defines exactamente “exitoso”? Esa es otra de las partes más científicas: diseñar métricas y medidas, saber qué datos necesitas recopilar y de dónde. Todo lo cual, si se hace correctamente, te dirá (te demostrará) cuando tu producto es un éxito. Y, lo que es más, estas métricas y los datos resultantes resultarán útiles para la comercialización del producto.

En Boldare, utilizamos una combinación del enfoque Lean Startup y el marco ágil Scrum para estructurar y guiar nuestro desarrollo de productos digitales. El concepto Crear-Medir-Aprender es fundamental para el Lean Startup.

Sin embargo, como ha señalado Eric Ries, autor de “The Lean Startup”, existen métricas de vanidad y métricas procesables.

Una métrica de vanidad es como un espejo que distorsiona: es posible que te guste lo que ves en él, pero no es una imagen real, es solo tu vanidad. Después de la prueba de tu producto, probablemente tengas algunas cifras impresionantes, pero o no son relevantes para la hipótesis o no te dicen nada que necesitas saber para mejorar tu producto. Es decir, vanidad.

Los ejemplos clásicos de métricas de vanidad podrían ser:

Sí, tu nueva página web tuvo muchas visitas, pero ¿qué es una “visita”? ¿cuántas personas es eso? ¿qué te dice sobre su experiencia en tu página? ¿qué puedes hacer para mejorar esa experiencia? ¿de dónde vienen esas visitas? ¿cuánto costó generar esas visitas? ¿cómo generas más? Las respuestas a todas estas preguntas son: ¿quién sabe?

Básicamente, las métricas de vanidad pueden ser excelentes para las relaciones públicas (siempre que nadie las cuestione demasiado), pero la información que brindan es solo humo y espejos.

Por otro lado, una métrica procesable proporciona al equipo de desarrollo de productos información realmente útil. Una métrica procesable a menudo está vinculada a tareas o características específicas y repetibles de una manera que te indica cómo podrías mejora esas tareas o características.

Las ventas podrían ser un ejemplo de métrica procesable. Al diseñar una nueva característica, las pruebas A/B del producto (la versión existente en contraste con la versión con la nueva característica) pueden usar una métrica de ventas para establecer la respuesta del usuario/cliente a la característica.

Los datos de esa métrica pueden apuntar firmemente en una serie de direcciones, que incluyen poner la nueva funcionalidad en versión general, volver a trabajar la funcionalidad para atraer mejor al cliente o abandonar la funcionalidad y buscar una mejor alternativa (más popular o necesaria) para implementar.

Una vez más, Eric Ries ofrece algunas ideas. Lo que él ha observado es que cuando se utilizan métricas de vanidad, la falta de claridad sobre lo que ha provocado una mejora en las cifras significa que las personas a menudo atribuyen la mejora a su parte del proyecto (la vanidad de todos en el trabajo). Del mismo modo, si el rendimiento contra la métrica empeora, definitivamente se debe al trabajo de otra persona.

Continúa el tiempo suficiente y observa el impacto negativo en la calidad general de tu trabajo en equipo.

En cierto sentido, esta es otra distinción entre los dos tipos de métricas.

En otras palabras, el uso a largo plazo de métricas de vanidad no solo es malo para la salud del proyecto de desarrollo de productos, sino también para la salud de la organización.

Una métrica procesable es específica, está vinculada a la hipótesis bajo prueba y produce resultados de datos (buenos o malos) que son inconfundibles en su significado. Te dice qué resultados provienen de qué características o cambios del producto.

Además de ser procesable, una métrica debe ser accesible. No solo en términos de ser claramente comprensible, sino también en el sentido de que los datos están disponibles de forma amplia y sencilla. Las métricas y los informes no son competencia exclusiva de los gerentes y supervisores; ese no es el estilo Lean Startup.

Es más, esa métrica debe ser auditable; es decir, cualquier miembro del equipo del proyecto puede generar los resultados o el informe a partir de los datos de origen.

Mantener las métricas y los datos abiertos y transparentes garantiza que los miembros del equipo se definan por sus roles y habilidades (lo que aportan) y no por su “nivel de autorización”.

Por último, las buenas métricas son finitas, tienen una vida útil, así que no te encariñes con ellas. Si una buena métrica está ligada a probar una hipótesis, una vez que se realiza la prueba y se logra un resultado creíble, el proyecto pasa a la siguiente hipótesis y a la siguiente versión del producto. Luego, una vez que se lanza el producto, las métricas pueden cambiar con el tiempo a medida que el producto “madura” y el marketing dirigido se convierte en la prioridad a medida que aumentan los datos disponibles.

Boldare es una combinación de dos empresas hermanas, XSolve y Chilid. La idea detrás de la construcción de esta nueva entidad era ofrecer la gama completa de servicios de diseño y desarrollo de software. Naturalmente, utilizamos nuestros procesos habituales de desarrollo de productos, incluidas hipótesis y métricas.

Una de nuestras hipótesis iniciales en el proyecto fue:

Para probar esta hipótesis, desarrollamos dos versiones del PMV de un sitio web boldare.com para probar qué era atractivo para nuestros clientes. Para reducir el alcance y enfocarnos en datos útiles, nos enfocamos en lo que estaba impulsando las elecciones de los clientes, ideando cinco sub-hipótesis:

Estas declaraciones específicas se probaron fácilmente mediante una serie de entrevistas escritas con usuarios y clientes. Esto no solo significaba que los datos recopilados eran directamente relevantes para la hipótesis, sino que el elemento “personas” se conservó al poder identificar claramente las fuentes individuales de las respuestas a las preguntas.

Los resultados mostraron que nuestra “oferta de productos” fue bien recibida y estaba lista para seguir adelante, pero los usuarios no estaban comprometidos con la “oferta de software”, lo que provocó un mayor trabajo de desarrollo.

Las métricas son clave para el principio Crear-Medir-Aprender del Lean Startup. Sin embargo, esas métricas deben ser procesables; es decir, relevante para el producto y la hipótesis que está probando el equipo del proyecto.

Las métricas procesables llevarán el proyecto de desarrollo a una conclusión exitosa y a la fase de marketing del producto, mientras que las llamadas métricas de vanidad implican la recopilación de datos que, en última instancia, no se pueden utilizar para promover el proceso de desarrollo del producto.

Como diría Eric Ries: “Las únicas métricas en las que los emprendedores deberían invertir energía en recopilar son las que les ayudan a tomar decisiones”.