Mapa de risco de infraestrutura de TI: como prever onde a operação vai falhar?

O que é risco em infraestrutura de TI

Risco é a combinação de duas perguntas: qual a chance de algo falhar e o que acontece se falhar. Em infraestrutura de TI, esse "algo" é um ativo concreto, como um servidor, um banco de dados, um link ou um switch. O que acontece se ele falhar se mede no serviço que ele sustenta.

O monitoramento tradicional responde a outra pergunta, igualmente importante: o que está quebrado agora. Ele olha para o presente. Um mapa de risco olha para as próximas semanas e ordena a infraestrutura pela ameaça que cada ativo representa para a operação.

Por isso este guia tem duas partes, que se completam. A primeira mostra qual ativo mais ameaça a operação. Esse é o mapa de risco, assunto dos capítulos 2 a 4. A segunda mostra quando o problema deve aparecer. Essa é a previsão, com outliers, sinais precursores e capacidade, nos capítulos 5 a 7. Os capítulos 8 e 9 juntam as duas na rotina do time.

A diferença aparece no calendário. No modo reativo, o time descobre o problema no dia da queda. Com um mapa de risco, o mesmo equipamento aparece semanas antes, primeiro como "piorando", depois com um sinal aceso, a tempo de entrar numa janela de manutenção planejada.

Por que o histórico é a melhor pista

Falhas de infraestrutura raramente se distribuem por igual. Na maioria dos ambientes, um grupo pequeno de equipamentos concentra boa parte das ocorrências. Além disso, quem falhou há pouco tempo tem mais chance de falhar de novo. A explicação é simples: a causa costuma continuar lá. O disco degradado, a configuração frágil ou a carga que cresceu sem redimensionamento.

Equipamento que falhou recentemente tem mais chance de falhar de novo, porque a causa costuma continuar lá.

Por isso o ponto de partida de qualquer mapa de risco é o histórico de cada ativo. Noventa dias costumam bastar para enxergar padrão sem misturar com uma infraestrutura que já mudou. Com menos tempo, a estimativa existe, mas precisa vir marcada com confiança baixa.

Os quatro sinais que antecedem uma falha

Dentro do histórico, quatro medidas dizem quase tudo sobre a chance de um equipamento falhar no próximo mês. Cada uma enxerga uma parte diferente do problema.

Nenhum sinal sozinho decide. Um servidor com muitas falhas antigas e nenhuma recente pesa menos do que um que começou a falhar este mês. A conta combina os quatro e, para ser útil ao time, precisa dizer qual deles pesou mais em cada caso.

A tendência merece atenção própria. Um link que caía uma vez por mês e passou a cair nove vezes ainda pode parecer pequeno perto de outros, mas é exatamente o tipo de mudança que antecede uma reclamação.

Chance sem impacto engana: o papel dos serviços de TI

Dois servidores com o mesmo número de falhas podem representar riscos muito diferentes. Se um deles é o ambiente de testes e o outro é o banco do ERP, a ordem de atenção é óbvia para qualquer pessoa da operação, mas não para uma lista que só conta falhas.

O impacto vem do mapa de dependências: quais serviços de TI cada equipamento sustenta e o que para quando esse serviço para. Uma escala de cinco níveis, de mínimo a crítico, resolve a maior parte dos casos. A matriz que cruza chance e impacto mostra onde está o perigo de verdade.

Outliers: por que limite fixo não basta

Um CPU em 13% não dispara nenhum alerta configurado. Mas se o normal daquele servidor numa quinta à meia-noite fica entre 5% e 8%, esse valor é um desvio forte e pode ser o primeiro sinal de um processo fora de controle.

Para enxergar isso, cada métrica precisa de uma linha de base: o comportamento normal em cada hora da semana, aprendido com as semanas anteriores. Um outlier é o valor que sai dessa faixa. Dois números ajudam a priorizar: o quanto ele saiu e quantas métricas do mesmo equipamento saíram juntas.

Olhando várias semanas juntas, o ambiente revela a sua rotina. Horário que se repete em vermelho costuma ser backup, carga noturna ou virada de turno. Vale ajustar a regra ou investigar o problema que sempre volta na mesma hora.

Sinais precursores de uma falha

Alguns equipamentos avisam antes de cair. A fila de disco sobe na véspera, a memória livre some aos poucos, a latência do link oscila. Para encontrar esse aviso, olhe a janela anterior a cada falha passada e procure a métrica que saiu do normal na maioria delas.

Quando o mesmo comportamento aparece antes de três de cinco falhas, ele vira um sinal precursor daquele equipamento. Se ele volta a acontecer, o risco sobe na hora, mesmo sem nenhuma falha nova.

Muita falha não dá sinal antes. Um mapa de risco confiável diz isso abertamente, em vez de inventar um aviso.

Previsão de capacidade: datas com margem de erro

Disco, memória, CPU e link têm uma vantagem sobre as falhas: crescem de forma mais previsível. Projetando a tendência dos últimos meses, dá para estimar quando cada recurso passa do limite.

A estimativa útil é uma janela, com a data mais provável e as datas mais cedo e mais tarde. Quando o crescimento não tem ritmo firme, a resposta correta é "tendência incerta", sem data. Uma data inventada leva a compra de emergência ou a compra desnecessária.

Feche o ciclo: registre e confira

Um mapa de risco só melhora a operação se o time registrar o que fez e conferir o resultado. Depois de uma troca de disco ou de um ajuste de configuração, as falhas antigas daquele equipamento devem pesar menos na conta.

A conferência vem nas duas semanas seguintes. Se o equipamento falhar de novo nesse prazo, a ação não resolveu e ele volta ao topo da lista com essa informação.

Como montar um mapa de risco?

Dá para começar com uma planilha. Muita equipe começa assim. A planilha deixa de funcionar quando o ambiente passa de algumas dezenas de ativos ou quando os eventos vêm de mais de uma ferramenta. O caminho é o mesmo nos dois casos.

1. 1

   Liste os serviços de TI e o que sustenta cada um

   ERP, loja, filiais, acesso remoto. Para cada serviço, os servidores, bancos, links e equipamentos de rede dos quais ele depende. Sem isso, não existe impacto para cruzar com a chance.

2. 2

   Junte 90 dias de eventos de todas as ferramentas

   Falhas e trocas de estado de cada ativo, venham do Zabbix, do OpMon, do Datadog ou de outra ferramenta. Ferramentas separadas escondem o equipamento que falha um pouco em cada uma.

3. 3

   Calcule os quatro sinais por equipamento

   Frequência comparada à média, recência da última falha, instabilidade da semana e tendência dos últimos 30 dias contra os 60 anteriores.

4. 4

   Dê peso ao impacto pelo serviço

   Uma escala simples de cinco níveis, de mínimo a crítico, definida pelo que para quando o serviço para: receita, usuários ou contrato.

5. 5

   Ordene, explique e revise toda semana

   A lista só ganha confiança do time se cada posição vier com o motivo. Quinze minutos por semana bastam para decidir o que entra na próxima janela.

6. 6

   Registre as ações e confira o resultado

   Anote o que foi feito em cada equipamento e acompanhe as duas semanas seguintes. Se ele falhar de novo, a ação não resolveu.

Seis erros comuns

• Ordenar a infraestrutura pelo número de alertas. Alerta mede barulho e diz pouco sobre a chance de uma queda.
• Tratar todos os equipamentos com o mesmo peso. O servidor de testes e o banco do ERP pedem atenção diferente.
• Confiar só em limite fixo. Ele não enxerga o desvio que acontece longe do limite, na hora em que ninguém espera.
• Aprender o normal em semana atípica. Black Friday e feriados contaminam a linha de base se entrarem na conta.
• Prever capacidade pela média diária. O recurso satura no pico. A média esconde o pico.
• Registrar a ação e não conferir depois. Sem a conferência, o time não sabe se resolveu ou só adiou.

Glossário

Linha de base

O comportamento normal de uma métrica em cada hora da semana, aprendido com as semanas anteriores.

Outlier

Um valor fora da faixa normal para aquele dia e hora, mesmo que esteja longe de qualquer limite configurado.

Oscilação (flapping)

Troca repetida entre normal e problema num intervalo curto. É um dos sinais mais comuns antes de uma queda definitiva.

Sinal precursor

Um comportamento que costuma aparecer antes das falhas de um equipamento específico, como a fila de disco subir na véspera.

Matriz de risco

A grade que cruza chance e impacto em cinco níveis cada. Serve para filtrar e explicar a lista.

Projeção de capacidade

A estimativa da data em que um recurso passa do limite, entregue com a janela mais cedo e mais tarde.

Serviço de TI

O que o negócio enxerga, como ERP ou loja virtual, com a árvore dos equipamentos que o sustentam.