Cómo definimos el éxito (o el fracaso) de nuestro producto
Decidir en función de los datos
Cómo: La toma de decisiones respecto a qué mejorar, qué quitar o qué agregar en un producto debe estar alineada con los objetivos planteados originalmente. La idea es evitar agregar funcionalidades que cuestan dinero por diversión o por hipótesis no validadas del equipo y que no resuelven lo que necesita la audiencia. Para ello, medir es esencial.
Por qué es importante:
- Aporta información para definir por qué un ítem debe ser priorizado.
- Ayuda a alinear a las distintas partes del equipo y a ofrecer a todos los interesados una visión sobre los resultados del producto que están creando.
- Minimiza la toma de decisiones por instinto que muchas veces difieren de los objetivos preestablecidos.
Dicen los que hacen: Especialmente en este momento tenemos que evitar las métricas de vanidad, que no son otra cosa que nuestra viejas enemigas, las KPI de vanidad. Muchas métricas parecen importantes, pero no significan nada. Deben medir cosas que realmente “mueven la aguja”. Por ejemplo, el alcance o vistas de un video publicado en nuestro Instagram nos proporciona poca información sobre cómo está resonando en nuestra audiencia.
En América Latina esto es especialmente importante, ya que no abunda el presupuesto para experimentación y enfocarse en las métricas erradas puede tener un costo mucho más alto de lo esperado.
En qué enfocarse: Ya lo dijo Coco Chanel, “Menos es más”. Y Dieter Rams dijo: “Menos, pero mejor”. Hagamos caso a Coco y a Dieter: más métricas no necesariamente agregan más valor. Incluso muchas veces llevan a una confusión general sobre qué es importante. Por ejemplo, a la hora de lanzar un newsletter se puede comenzar midiendo cantidad de suscriptores en su etapa de crecimiento hasta alcanzar su objetivo, y luego incorporar la tasa de retención para asegurarse que los suscriptores seguían siendo fieles al producto.
Un dato no menor: No olvides a tus usuarios. Muchas veces las métricas de negocio (ej. tasa de conversión) tienden a ocupar la mayor atención porque son la medida más común del éxito de un producto. Pero las métricas orientadas al usuario (ej. tiempo de sesión) pueden ser la mejor evidencia del desempeño de nuestro producto. Debemos analizar el trayecto del usuario en su totalidad para ver qué brinda valor y conversión, o qué brinda frustración y rebote.
Análisis cuantitativo
Qué es: Los datos cuantitativos son los datos duros que salen de herramientas de analíticas. Muestran exactamente quién usa nuestro producto, qué partes, cuándo, por cuánto tiempo, con qué frecuencia, desde qué dispositivo, entre otros datos.
Por qué es importante: Además de ser una fuente de información indiscutible, las métricas cuantitativas son especialmente útiles para hacer experimentos y testear hipótesis. En lugar de depender de pruebas de usabilidad o encuestas, se pueden ejecutar pruebas A/B en vivo para ver cómo reaccionan los usuarios a las diferentes opciones. Una prueba A/B permite comparar dos alternativas para el mismo elemento y ver cómo funcionan. En medios, por ejemplo, se pueden comparar títulos para ver cuáles atraen más a las audiencias desde redes sociales.
Cómo: Existen diferentes herramientas para medir resultados en los medios de comunicación. Algunas de estas son:
- Google Analytics (gratuita) y su complemento Google Data Studio
- Chartbeat
- Parse.ly
Lo que no: Al análisis cuantitativo le falta contexto. Sabemos lo que pasó, lo que está pasando, e incluso podríamos predecir lo que podría pasar. Pero lo que no sabemos es el por qué. Podemos suponer causas, pero sin hablar con los usuarios, es difícil descifrar sus motivaciones. Ahí es donde aparecen las métricas cualitativas.
Análisis cualitativo
Qué es: Los datos cualitativos son más delicados. Surgen de encuestas, entrevistas, pruebas de usabilidad, pedidos de feedback, etc. Se parece más a “se necesitan muchos clics para hacerme miembro” y menos a “la tasa de conversión de miembros es del 5%”.
Cómo funciona: A diferencia de los datos cuantitativos que requieren de una muestra grande, las métricas cualitativas tienen que ver con el individuo. ¿En qué estaba pensando esta persona? ¿Por qué hizo determinada elección? ¿Le gustó o no le gustó una experiencia o un cambio en particular? La información ya no viene de herramientas de analytics, sino de preguntar a las personas sobre sus experiencias, emociones y pensamientos.
Un dato no menor: El análisis cualitativo requiere de un mayor esfuerzo. No hay plataformas que automaticen la recopilación de este tipo de datos. En general, dependen de los equipos de producto y los de UX. Además, es fundamental seleccionar una variedad de lectores que representen a nuestra audiencia de la mejor manera posible. Por ejemplo, podemos armar arquetipos utilizando datos demográficos y cubrir los perfiles.
Impacto: Es muy importante que estemos bien atentos a las respuestas del usuario porque no hay nada más valioso que escuchar su experiencia de primera mano. Si hay algo en nuestro Producto que con las métricas vemos que no está funcionando, podemos descifrarlo a través del análisis cualitativo.
En conclusión: Como hemos dicho en unidades anteriores, los Product Managers son solucionadores de problemas. Y es difícil saber cuáles son esos problemas sin analizar datos. Si bien algunos pueden preferir un tipo de análisis sobre otro, lo mejor es usarlos en conjunto para comprender con mayor exactitud lo que está sucediendo con nuestro producto e identificar oportunidades de mejora. Así es que debemos combinar nuestro perfil más de ingeniero (cuanti) con nuestra vocación de psicólogo (cuali). Excel y Freud, sofá y calculadora.
Cómo comunicar performance (partes interesadas y equipo)
Por qué es importante: Gran parte del trabajo del Product Manager se trata de mantener informado a los equipos sobre el progreso del producto para asegurarse de que todos trabajen para lograr los mismos objetivos estratégicos. A la hora de actualizar a los equipos y de transmitir el impacto de nuestro producto debemos ser claros y empáticos. A fin de cuentas, es resultado del trabajo en conjunto de muchas personas.
Cómo: La comunicación de resultados debe ser clara, estar alineada a los objetivos preestablecidos, y ser constructiva, es decir, no se trata de marcar el error sino de abrir el debate a la propuesta de soluciones. Algunos tips:
- Estructurar la presentación de los datos: arranca por una mirada más amplia y luego ve al detalle.
- Ser breve: haz que las conclusiones que quieras que se lleven de tu presentación sean obvias y mantén una comunicación verbal clara y directa.
- Anticiparse a las preguntas: está preparado para responder a las inquietudes sobre por qué se hizo algo de determinada manera y no de otra, y qué podría hacerse para mejorar.
- Dar ejemplos específicos: los ejemplos suelen ser los más persuasivos. Cita algún ejemplo positivo y otro negativo, con su respectivo análisis. No señales responsables en los ejemplos negativos.
- Ser empático: cuando comentes el trabajo de los demás debes ser cordial. Si eres pedante, te transformarás en la persona más odiada del equipo. Si, por el contrario, reconoces el esfuerzo detrás de cada sección, si tus comentarios y tu análisis abren nuevas perspectivas e ideas, serás la persona más valorada del equipo, siempre te invitarán al after después del trabajo y te convidarán a comer papitas con queso. Y a todos nos gustan las papitas con queso y los colegas que valoran nuestro trabajo.
En detalle: Saber a quién le hablamos es clave en cualquier tipo de comunicación. No comunicamos de la misma forma si exponemos ante el equipo de trabajo que si lo hacemos ante inversores, por ejemplo. Ante ejecutivos debemos enfocarnos en objetivos estratégicos en términos de mercado y negocio, mientras que con el equipo debemos centrarnos en cómo pasar de la teoría a la práctica.
Cómo diseñar un buen dashboard o panel de métricas
Qué es: El dashboard es el panel de métricas que exhibimos ante el equipo o partes interesadas.
Cómo: Para diseñar un buen dashboard, nos tenemos que poner en el lugar de quien lo vaya a usar. Quién será, cómo lo usará, dónde lo usará. ¿Se enviará el dashboard por mail o se mostrará como una presentación en una reunión?
Por qué es importante: Presentar los datos de una manera clara y accesible facilita el proceso de toma de decisiones y ahorra tiempo.
Un dato no menor: Si haces que el dashboard sea demasiado complejo, el equipo estará más tiempo intentando descifrar el tablero que analizando los datos. El análisis de datos que se muestra en un dashboard debería proporcionar un valor adicional. Por ejemplo, resolver la necesidad de hacer más cálculos por nuestra cuenta para obtener una información que estábamos buscando. Imagina que son los resultados de un partido de fútbol: el número más grande es el que gana, el más chico es el que pierde. Así de simples, claros y directos deben ser tus dashboards.
Pregúntate: Teniendo en cuenta estos puntos, solo resta la elección de las métricas. Para ello, podemos hacernos algunas preguntas como guía:
- ¿Cuáles son los objetivos del producto en términos de monetización, audiencia o impacto?
- ¿Tenemos números disponibles que sirvan como indicadores para esos objetivos?
- Si no tenemos números disponibles, ¿existen métricas que sí lo estén que puedan funcionar como proxy para alguno de ellos?
- Si no tenemos los números disponibles, ¿qué tan difícil es conseguirlos?
Un ejemplo: Si quisiéramos desarrollar una newsletter diaria, primero deberíamos plantearnos el objetivo en términos de monetización, audiencia e impacto. Podría ser: “informar de forma entretenida sobre la política municipal a los residentes de Coronel Suárez, provincia de Buenos Aires”. Lo ideal es ser lo más específicos posible a la hora de plantear el objetivo.
Ahora bien, ¿cuáles son los indicadores que nos permiten entender si estamos informando a las personas sobre política municipal?
Bien podrían ser:
- Alcance o número de suscriptores dentro de la ciudad
- Ratio de apertura del boletín
- Churn rate, métrica que indica la tasa de cancelación o abandono
- Porcentaje de comprensión de temas de política municipal
- Net promoter score, es decir, la métrica sobre cuán probable es que el usuario recomiende el producto o servicio a un familiar o amigo
De estas métricas, las primeras tres pueden obtenerse en casi cualquier plataforma de email marketing. Pero, por ejemplo, el porcentaje de comprensión de temas de política municipal no. En ese caso, podemos pedir a nuestros lectores que respondan una encuesta breve al final del boletín o simplemente agregar botones para determinar si les pareció informativo.
Lo que sí: El dashboard habla por sí solo. Si ponemos una métrica en grande y arriba, probablemente se interprete que ese es el dato que queremos resaltar y, por ende, el más importante para el Producto. Por eso es clave pensar bien qué mensaje queremos dejarle al equipo o a las partes interesadas y, en base a eso, diseñar el tablero.
Además, también tenemos que tener en cuenta qué tipo de gráfico expresa mejor una métrica, cuándo una tabla es suficiente, cuándo necesitamos un gráfico de torta o de barras o si deberíamos visualizarlo como un termómetro o un semáforo.
Google ofrece un curso gratuito sobre el uso de Analytics y puedes encontrarlo aquí.
Iteración: testeo y mejora
Qué es: La iteración es un proceso que viene de una forma de trabajar propia del desarrollo de software, llamado metodologías ágiles. El objetivo de iterar es lanzar o implementar una función de inmediato en lugar de pasar meses analizando cómo hacerlo. Es un enfoque de aprendizaje práctico, de aprender haciendo. Se opone al pensamiento excesivo.
Dicen los que hacen: Las iteraciones no siempre son eficientes en términos prácticos porque cada iteración generalmente incluye algo que probablemente no vaya a ser incluido en el producto final.
Un dato no menor: Que las iteraciones sean muchas veces ineficientes no está mal. La idea detrás es lanzar rápido para recibir feedback temprano y así cambiar, mejorar y volver a lanzar. La mayoría de las veces, tus usuarios no te van a decir lo que quieren. Es parte de tu trabajo descubrirlo. Pero ojo, entre iteraciones tenemos que dar tiempo de reacción al usuario. La pulsión por iterar también puede costar cara y ser perjudicial para nuestro entendimiento de la audiencia.
Por qué es importante: Además de la optimización de tiempo, las iteraciones también aseguran que el producto se mantenga actualizado en términos de propuesta de valor al estar bajo escrutinio constante.
En profundidad: Es importante saber el objetivo de cada iteración. Debe tener un resultado deseado específico. Por ejemplo, iterar hasta alcanzar determinada métrica. La clave es moverse de a poco, como de a pasos pequeños y que de cada iteración salga algo de valor. De esta manera, se puede detener el proceso en cualquier momento y seguir teniendo un producto viable.
Backlog y priorización
Qué es: Un backlog es una lista priorizada de tareas para el equipo. Este listado proviene en general de los requisitos del roadmap -que mencionamos en la Unidad 4-, pero se le pueden sumar externalidades como bugs o pequeñas fallas en el software, cuestiones técnicas, pedidos de usuarios o nuevos requisitos de negocio. Las tareas más importantes se muestran en la parte superior para que el equipo sepa qué hacer en primer lugar. Imagina la lista de las compras en una casa: el backlog es la lista de las cosas que se necesitan. Tal vez “papel higiénico” está más abajo en la lista que “pimienta en grano”. Es tarea del responsable de producto analizar que el papel es infinitamente más urgente que la pimienta (por más que nos guste el picante) y que, por lo tanto, debe estar al tope de nuestra lista.
Por qué es importante: Priorizar es uno de los desafíos más complejos del Product manager. Cualquier producto puede llegar a ser exitoso si los usuarios o el negocio obtienen las funcionalidades más valiosas lo antes posible.
Para qué sirve: En términos prácticos, para organizar los elementos del backlog del producto y planificar su desarrollo e implementación.
En detalle: Los puntos que se tienen en cuenta a la hora de priorizar son:
- La satisfacción del usuario
- Valor de negocio
- Complejidad
- Riesgo y oportunidad
- Costo
- La relación entre tareas (Ej. B es más fácil si hacemos A primero)
Dicen los que hacen: Se recomienda crear una lista separada para características menos urgentes porque ayuda a mantener el backlog principal de tareas limitado a aquellas que son realmente urgentes o de alto valor estratégico.
Un dato no menor: Es importante mantener el backlog de tareas actualizado para que el desarrollo del producto no se frene. Los Product managers deben revisar la lista de pendientes antes de cada reunión de planificación de iteraciones para asegurarse de que la prioridad dada a las tareas sea correcta y se hayan incorporado el feedback de la última iteración.
Impacto: Los distintos equipos o personas involucradas van a desafiar las prioridades según su interés, y eso es bueno. El Product manager necesita convencer a las partes interesadas dentro del equipo de por qué prioriza de esta manera. La discusión sobre qué es importante ayuda a alinear las prioridades de todos y fomenta una cultura de establecimiento de prioridades grupales que asegura que todos compartan el mismo objetivo. ¿Fácil? De ninguna manera. Por eso el rol del Responsable de producto es fundamental.
Ahora te toca a ti
Te invitamos a realizar el siguiente ejercicio para condensar todos los aprendizajes de la Unidad 6.
¿QUÉ TE PARECIÓ LA UNIDAD?
