Métricas vanidosas (vanity metrics) son aquellos indicadores o estadísticas que no son accionables, es decir, su conocimiento no nos llevará a actuar en un sentido u otro. Las métricas vanidosas no provocarán que actuemos de modo diferente o que modifiquemos nuestro producto. Tan solo inciden en nuestro ego. Si no me equivoco, el término fue acuñado por Eric Ries en su libro “El método lean-startup”, al exponer las diversas técnicas de “contabilidad de la innovación”.
Algunos ejemplos clásicos de métricas vanidosas son los siguientes.
Usuarios registrados. El número acumulado de usuarios que se registran en una determinada plataforma es siempre creciente (a menos de que el churn o número de usuarios que eliminan su cuenta supere a los nuevos registros) y nada indica sobre la actividad de tales usuarios. ¿Se registraron y no volvieron a utilizar el producto o, por el contrario, lo utilizan con frecuencia y generan ingresos recurrentes?
Sesiones. El número de sesiones o visitas no únicas, igualmente, no es indicativo de qué hacen esos visitantes. ¿Simplemente rebotan? ¿Vuelven a visitar el sitio?
Usuarios únicos. Señala cuántos individuos visitan nuestra web o aplicación; de nuevo, nada aporta respecto a qué valor tuvieron esas visitas únicas.
Seguidores en Twitter o fans en Facebook y otras redes sociales. Popularidad en las redes sociales no es sinónimo de facturación, por no mencionar que estos seguidores pueden ser simplemente cuentas de usuarios spam con nulo nivel de interacción.
Tamaño de la lista de correos electrónicos. El número de direcciones de correo electrónico que un determinado servicio de suscripción haya amasado nada tiene que ver con el valor comercial de los mismos. ¿Cuántos usuarios abren los correos que enviamos? ¿Cuál es el ratio de click through?
Numero de descargas en los markets. El número de descargas de nuestra app no es sinónimo de generación de ingresos, ni siquiera de registros de usuarios. No obstante, es cierto que el volumen de descargas puede hacer que la app sea considerada popular en estos markets, alcanzando mayor visibilidad.
Número de clientes. Por más que en nuestras presentaciones pueda impresionar afirmar que tenemos miles de clientes, esta cifra esconde qué beneficio o volumen de negocio realmente generan, y con qué recurrencia.
Stock disponible. En el caso de plataformas de economía colaborativa tipo Airbnb, por ejemplo, contar con un determinado nivel de inventario es crítico para que el modelo funcione; sin embargo, la cifra de inventario bruto (“10.000 habitaciones disponibles en Madrid”) nada dice sobre su calidad.
Fondos de capital riesgo conseguidos. El hecho de que una compañía cierre una ronda de financiación por el importe que sea es poco significativo respecto a sus necesidades reales de financiación, o sobre la eficiencia con la que dichos fondos serán utilizados.
Eric Ries, en su nuevo libro “The leader’s guide”, también menciona el ROI, la cuota de mercado o cualquiera cifra de facturación basada en proyecciones como otros ejemplos de métricas vanidosas.
El calificativo “vanidoso” tiene una connotación negativa, y algunos autores señalan que hay que evitar este tipo de indicadores a toda costa. Con todo, creo que su importancia no debe subestimarse, por razones varias.
- Pueden ser relevantes dependiendo del tipo de negocio. Por ejemplo, si nuestro modelo de negocio se basa en la venta de publicidad, métricas a priori vanidosas como el número de usuarios únicos tienen carácter principal, puesto que aluden a la audiencia a la que llega el medio en cuestión, y este es un dato que los anunciantes tienen en cuenta.
- Expresan el grado de interés que la propuesta de valor genera. A menudo, un registro, una visita o una descarga, si bien no tienen valor en sí, pueden ser indicativos del interés que despierta un producto o servicio.
- Estacionalidad. Métricas vanidosas como el número de visitas que recibe un sitio web sirven para explicar el componente estacional de ciertos productos. Por ejemplo, en Liftshare, el tráfico aumenta considerablemente en verano, como consecuencia de los diversos festivales de música.
- Importan a clientes, prensa e inversores. La consecución de ciertas métricas vanidosas puede tener valor, por ejemplo, para generar historias de las que la prensa se haga eco, especialmente cuando se trata de cifras redondas y más o menos espectaculares que posibiliten titulares (“La plataforma X alcanza 1 millón de usuarios”, “La startup X cierra una ronda de financiación de 10 millones de euros”).
El antídoto frente a los indicadores vanidosos son las métricas accionables, que nos permiten aprender sobre el comportamiento de nuestros clientes y mejorar nuestros productos. En concreto, en el ámbito del desarrollo de producto, tal y como sugiere Eric Ries, hay dos herramientas cuyo uso disciplinado nos permitirá iterar obteniendo aprendizaje validado: el análisis de cohortes y los split tests (A/B tests).
