Defina a linha de base e o período de resultados
A linha de base é a medição inicial, não a meta. Registre sua fonte, datas e regra de inclusão antes de examinar o resultado. A meta indica o que você espera alcançar. Separá-las impede que um resultado favorável mude a pergunta depois dos fatos.
Escolha um período suficientemente longo para que o efeito pretendido apareça e defina seu término antecipadamente. A programação pode afetar esta semana. As compras podem precisar de um ciclo de reposição. Se o período mudar, preserve o plano original e registre o motivo.
Compare o mesmo denominador
Uma contagem precisa de contexto. Doze serviços atrasados entre sessenta elegíveis não equivalem a doze entre duzentos. Defina a elegibilidade de forma consistente, incluindo cancelamentos, duplicatas e horários ausentes. Mantenha a contagem ao lado da taxa para que uma população pequena continue visível.
Cálculo fictício: um teste de rotas
Exemplo fictício, não um resultado de cliente: a linha de base tem 12 serviços atrasados de 60 elegíveis, ou 20%. O período de resultados tem 8 de 80, ou 10%. A taxa observada cai 10 pontos percentuais. Isso não é uma redução relativa de 10% e não prova causalidade.
O segundo período também usou um veículo adicional e teve menos visitas de longa distância. Essas diferenças podem explicar parte da mudança. A conclusão defensável é uma melhoria observada com explicações alternativas não resolvidas, não que o teste de rotas a produziu sozinho.
Mantenha um registro de fatores de confusão
Registre equipe, clima, composição da demanda, mudanças de preço, interrupções e mudanças de medição que possam afetar o resultado. Uma unidade comparável pode ajudar a examinar uma explicação, mas não é automaticamente um grupo de comparação válido. Diferenças de clientes ou capacidade ainda podem distorcer a comparação.
Quando inconclusivo é a resposta correta
E se a linha de base estiver ausente? Não reconstrua certeza de memória. Identifique a lacuna e colete uma linha de base prospectiva. E se a amostra for pequena? Mantenha a incerteza visível e evite generalizações amplas. E se o resultado piorar? Use as mesmas regras de medição das melhorias.
Uma ficha de revisão precisa da decisão, expectativa, fonte e período da linha de base, fonte e período do resultado, denominador elegível, explicações alternativas e próxima verificação. Inconclusivo significa que as evidências disponíveis não sustentam a conclusão desejada. Uma assinatura verificada não elimina esse limite.
