Por que sua equipe precisa de uma revisão semanal de métricas
Algumas semanas atrás, em nosso Manifesto para os Dados Informados , uma das cinco crenças apresentadas era a familiaridade de toda a empresa com as métricas, em vez de terceirizar para ‘pessoas de dados’.
Imediatamente, fomos bombardeados com perguntas: isso realmente importa? Essa é uma expectativa realista? Como uma organização pode conseguir isso? Portanto, em nossos próximos posts, vamos nos aprofundar em como tornar prática essa aspiração grandiosa.
Como com qualquer outra coisa na vida – sejam pessoas, idiomas ou costumes – não há atalho para ganhar familiaridade; a única maneira é através da exposição direta e frequente.
Com os dados, a maioria das equipes entende isso inerentemente – é por isso que os painéis são criados e os links são transmitidos e todos nós somos lembrados de “marcá-lo como favorito e verificar com frequência”.
Infelizmente, a menos que o cargo inclua a palavra dados , a prática de carregar o referido marcador não aparece com frequência no topo da sua lista de tarefas, mesmo que você realmente ache que os dados são importantes! Assim começa a grande espiral da morte dos painéis – porque eles não são usados, eles ficam sem manutenção. Porque eles não têm manutenção, quando você finalmente precisa olhar para eles, eles estão quebrados e inúteis.
É por isso que as equipes informadas por dados dependem de outras práticas além da pura vontade de criar familiaridade com os dados. Os três grandes são 1. revisões semanais de métricas, 2. relatórios semanais de insights e 3. revisões de insights.
Nesta parte, abordaremos uma das práticas mais impactantes na construção de uma equipe informada por dados: a revisão semanal de métricas.
O que é uma revisão semanal de métricas?
Uma revisão semanal de métricas é uma reunião síncrona da equipe para revisar as principais métricas de um produto em escala, pós-PMF, com todos os membros funcionais da equipe presentes — ou seja, PM, engenharia, design, operações. Esse tipo de revisão pode (e deve!) acontecer no nível executivo, com o CEO e os executivos de nível C, e se repetir nas equipes de produtos individuais.
Uma revisão semanal de métricas deve ser curta e agradável (pense em 5 a 15 minutos, normalmente no início de uma reunião regular da equipe) e liderada pela pessoa de dados que conduz o grupo pelas principais métricas para sua área coletiva de trabalho (por exemplo, novo usuário crescimento, receita, taxas de conversão, tickets resolvidos).
O grupo deve examinar como as principais métricas progrediram nas últimas semanas, idealmente observando uma série de gráficos de linhas de séries temporais. O apresentador também pode preparar alguns segmentos-chave para revisão, por exemplo, se um determinado tipo de usuário, plataforma ou mercado é estrategicamente importante para a equipe ou se a equipe lançou algo que impacta um segmento específico (como um novo recurso em um teste de mercado).
É melhor manter a reunião leve. A preparação deve ser fácil, de preferência não mais do que 30 minutos. Muitas ótimas revisões de métricas simplesmente começam com capturas de tela de painéis. A pessoa dos dados não deveria ter todas as respostas na ponta dos dedos ( por que os usuários ativos dispararam duas semanas atrás? ). Não há problema em retornar com uma resposta mais tarde.
O que é um resultado bem-sucedido para uma revisão semanal de métricas?
As revisões de métricas são diferentes das revisões de produtos ou reuniões de decisão; o ponto é um entendimento compartilhado de como a equipe está progredindo em direção a seus objetivos, não tomando decisões ou criando itens de ação.
Esta é uma proposta incomum, especialmente quando equipes ambiciosas estão (com razão!) Desconfiadas de perder tempo em reuniões. Depois de ler um artigo como este e experimentar esse estilo de reunião, você pode se perguntar: essa reunião está realmente nos ajudando a realizar alguma coisa? É comum que a revisão semanal de métricas seja cancelada, rebaixada para uma atualização por e-mail ou se torne o terreno fértil para longas listas de perguntas de acompanhamento apenas para que o grupo sinta que fez algo.
Ainda assim, argumentamos que a familiaridade com o impacto do trabalho da equipe é em si uma meta importante o suficiente para criar uma cadência síncrona ao redor. Como trabalhamos em um ambiente de equipe, é fundamental compartilhar o contexto entre diferentes funções. O resultado ideal de uma revisão de métricas é que cada pessoa desenvolva uma compreensão compartilhada das seguintes questões:
1. Como estamos nos saindo em relação aos nossos objetivos?
Poucas coisas concentram um grupo de forma tão eficaz quanto ver um gráfico de progresso semanal avançando em direção a uma meta. O ritual de fazer isso juntos força a sala a confrontar questões como Temos probabilidade de atingir nosso objetivo? e Nosso trabalho recente está tendo o impacto que esperávamos?, o que acaba levando à pergunta do Santo Graal: nossa estratégia está funcionando?
2. Quais alavancas são mais importantes para alcançarmos nossos objetivos?
Se fosse óbvio o que uma equipe deveria fazer, o sucesso seria garantido. Infelizmente, não é assim que o mundo funciona.
O trabalho em equipe criativo é uma esteira infinita de tentativa e erro – crie ideias que você acredita que levarão a um resultado desejado e, em seguida, faça o trabalho para ver se você está certo. Quando você leva em conta os resultados é quando você aprende a aprimorar suas habilidades.
Veja um exemplo: digamos que passamos três meses lançando o recurso X. Podemos então ter uma decisão a tomar, devemos trabalhar no Xv2 a seguir? Simplesmente observar os resultados de X isoladamente não é suficiente para responder a essa pergunta; devemos considerar isso em relação a outras possibilidades – que tal melhorar os recursos A, B ou C? Quando reservamos um tempo para refletir regularmente sobre o impacto de nosso trabalho por meio de análises métricas, construímos um conhecimento mais rico sobre o que realmente impulsiona nossos negócios.
Dito de outra forma, um grande benefício da implementação de revisões semanais de métricas é que todos na equipe irão melhorar seu pensamento sobre o produto. Por exemplo, um designer terá menos probabilidade de propor um botão importante na parte inferior da página se souber que há uma redução de aproximadamente 2x na CTR em comparação com a parte superior. Um engenheiro ficará mais vigilante em manter a linha de desempenho ao implementar um novo recurso se estiver ciente de que o carregamento rápido é um grande impulsionador do uso.
3. O que é normal?
Todo negócio tem algum nível de volatilidade e sazonalidade. Por exemplo, os aplicativos corporativos são mais usados durante a semana, enquanto os videogames são mais jogados nos finais de semana. Digamos que você espere que janeiro seja pior do que dezembro para o seu negócio e, como previsto, você vê uma queda em janeiro. Qual seria o tamanho da queda para você ficar preocupado que algo está errado?
A familiaridade com os ritmos normais do seu negócio é essencial para identificar rapidamente quando você pode precisar agir porque algo está errado ou quando é provável que haja um erro em sua medição. Por exemplo, se um membro da equipe relatar que um experimento recente levou a um aumento de 20% na Key Metric X, mas você sabe que X é extremamente difícil de mover, você suspeitaria e investigaria mais. Com o tempo, uma compreensão bem apurada do que é normal leva a uma melhor previsão e planejamento futuro.
Bem feita, a prática de revisões semanais de métricas cria uma compreensão compartilhada do progresso, aprimora as decisões estratégicas de uma equipe e permite uma detecção mais rápida de problemas.
Mas cuidado com um dos assassinos secretos das revisões métricas – muitas perguntas de acompanhamento.
Para ser claro, fazer perguntas é uma parte importante da construção de familiaridade, e boas perguntas podem levar a novas descobertas importantes. No entanto, nem todas as perguntas valem o esforço necessário para respondê-las. É fácil fazer uma dúzia de perguntas só porque você pode e é uma pessoa curiosa, mas você pode involuntariamente estar criando horas de trabalho em busca de acompanhamentos. Em vez disso, procure fazer perguntas que possam levar a uma mudança de decisão.
Um bom teste decisivo para saber se vale a pena fazer uma pergunta sobre dados é o seguinte: qual é minha estimativa para a resposta mais otimista e o que farei se essa for a resposta real? Por outro lado, qual é minha estimativa para a resposta mais pessimista e o que farei se essa for a resposta real? Se suas ações para ambas as perguntas forem as mesmas, você tem uma pergunta que provavelmente não vale a pena responder.
Como exemplo, considere a pergunta: Qual é o nosso país com pior desempenho e quão pior ele está em comparação com um país médio?
Se sua resposta pessimista for Honestamente, não farei nada com essas informações, a menos que seja um dos nossos 10 principais países, então ter alguém gastando muito tempo consultando o resultado pode não valer a pena. (Uma pergunta melhor seria: Qual país do Top 10 está tendo o pior desempenho neste trimestre? )
Como posso iniciar uma revisão semanal de métricas?
Em termos práticos, nem sempre é fácil começar o hábito de revisões métricas, porque você precisa convencer outras funções de que vale a pena. Se você for o representante dos dados, comece discutindo a ideia com a pessoa que tem responsabilidade geral pelo trabalho da equipe e estaria mais interessada em acompanhar o progresso e alinhar-se a um objetivo comum. Pode ser o CEO, um gerente geral (ou seja, chefe de operações, chefe de vendas) ou um líder de produto (ou seja, PM, líder de engenharia, etc.)
Se você é o indivíduo diretamente responsável, proponha a ideia de uma revisão de métricas com seu parceiro de dados. Se ambos concordarem, peça ao restante da equipe que se comprometa a tentar por pelo menos um quarto. Colocar a prática no início de uma reunião de equipe pré-existente também reduz o atrito.
Sua revisão de métricas não precisa ser totalmente abrangente para começar. Considere começar com um intervalo de 10 minutos a cada duas semanas. O representante de dados deve estar preparado para direcionar a agenda e lembrar a todos os objetivos nas primeiras sessões ( Esta é nossa principal métrica de meta… estou mostrando este segmento porque… estou mostrando esta métrica relacionada porque… ) Use as primeiras sessões para obter feedback sobre o conjunto certo de métricas e cortes a serem observados. Lembre-se: é melhor começar pequeno e aumentar com o tempo do que sobrecarregar o grupo folheando dezenas de gráficos e números. Você sempre pode acompanhar com um breve e-mail resumindo o que foi discutido, com links para uma exploração mais aprofundada.
Que outras práticas ajudam uma equipe a usar bem os dados?
Fique atento à sequência: por que sua equipe deve ter relatórios de insights e análises de insights.
Postagens anteriores desta série :
Manifesto para os dados informados
Os cegos, o elefante e os 3 erros de dados
Tem outras dicas para compartilhar sobre como fazer ótimas análises de métricas?
Queremos ouvir suas histórias de guerra e conselhos em [email protected] .
Este artigo foi escrito por Stanley Watt e Julie Zhuo.
Dados
Análise
Gestão de produtos
Desenvolvimento de produto
Trabalho em equipe
1,4K
28