🟢🟡🔴 Três cores. É tudo que a liderança precisa ver para saber se os testes automatizados estão saudáveis.
Mas chegar nessa simplicidade deu trabalho.
No nosso time de qualidade, acompanhar testes era um processo inteiramente manual: histórias no Jira, contagem via filtros, relatórios consolidados por uma pessoa. Ninguém confiava nos números — porque ninguém sabia exatamente de onde eles vinham.
A pergunta que nos moveu foi simples: como ter um modelo de observabilidade nas execuções de testes automatizados que fosse automático, rápido e confiável?
Passo 1 — Logs via pipeline
Criamos um template reutilizável no GitHub Actions que parseia artefatos com os resultados dos testes e os envia automaticamente para o Datadog. Sem intervenção manual.
Com o Logs Explorer, já era possível consultar execuções e entender falhas. Mas logo apareceram os limites: filtros de exclusão do contrato descartavam dados silenciosamente, a retenção era de apenas 15 dias, o volume de ~22.000 logs/mês pesava no custo, e as queries eram lentas.
Visibilidade conquistada. Faltava confiança.
Passo 2 — Métricas custom + inventário automatizado
Migramos para métricas custom (Metrics API V2, gauge) com logs de resumo complementares. O resultado: dados imunes a filtros de contrato, retenção de 15 meses, queries instantâneas e custo drasticamente menor.
E para responder “quantos testes existem no código?” sem depender de execução, criamos um inventário automatizado — um job que varre os ~30 repositórios duas vezes por dia e conta os test cases existentes, desabilitados e realmente executáveis.
Os 5 dashboards que temos hoje
📊 Status Executivo — para a diretoria. Taxa de sucesso geral (meta ≥98%), total de falhas, jornadas ativas, top erros e tendência temporal. Atualiza a cada 5 minutos.
📊 Check Status — visão por jornada (9 grupos). Semáforo automático (🟢≥70% / 🟡50–69% / 🔴<50%), CTs executados vs. desenvolvidos vs. skipados, repositórios ativos vs. total.
📊 Check Status por Jornada — clone dedicado para jornadas com múltiplos squads. Mesmo semáforo, filtrado por squad individual.
📊 Testes Regressivos — visão técnica. Índice de confiabilidade por jornada, top 10 testes que mais falham, pipelines acima de 10 min, tendência de duração, cenários por squad em treemap.
📊 Inventário — responde “quantos testes temos?”. Taxa de execução real por projeto, skipados por jornada, evolução temporal, skip por código vs. skip em runtime e fator de multiplicação.
𝗢 𝗾𝘂𝗲 𝗺𝘂𝗱𝗼𝘂:
❌ Contagem no Jira → ✅ Automático 2x/dia
❌ Report por e-mail → ✅ Self-service
❌ 15 dias de histórico → ✅ 15 meses
❌ 22k logs/mês → ✅ ~15 requests por execução
O maior ganho não é técnico — é de confiança.
Quando o número vem de uma fonte automática e auditável, a conversa muda de “será que está certo?” para “o que vamos fazer com isso?”
Esse é o tipo de mudança que transforma a cultura de qualidade de um time.