Pular para o conteúdo

Operação

Regras de alerta

Não há Alertmanager neste build. Com ORBIT_DEMO_DATA=false, o orbit-api deriva os alertas dos mesmos objetos do Kubernetes que o resto do Deck lê, com seis regras, e cada uma delas cobre algo para o qual um SRE, de outro modo, escreveria uma PrometheusRule. Esta página é o runbook de cada uma: o que a faz disparar e o que verificar primeiro. Os links de runbook do Deck caem na seção da regra, e o endereço dela é estável: /docs/alerts#nodenotready, e assim por diante para as outras cinco. O parque de demonstração, em vez disso, serve o seu próprio conjunto fixo de alertas, aqueles cuja história o CLAIMS.md conta.

Como um alerta derivado se comporta

  • Avaliado a cada leitura. Cada GET /api/v1/clusters/{id}/alerts roda as seis regras contra o cache que a fonte ao vivo mantém do cluster; não existe loop de avaliação nem histórico. Um alerta existe enquanto a condição dele se sustenta e some na primeira leitura depois que ela deixa de valer.
  • Sempre disparando, nunca roteado. Uma regra derivada não tem uma duração for durante a qual ficar pendente, então todo alerta é state: "firing", e nenhum carrega team: nada dentro do cluster diz quem é o dono de um workload, e inventar um dono aciona as pessoas erradas.
  • Identidade estável. O id combina o cluster, a regra, o namespace e o objeto que o alerta aponta, então a mesma regra sobre o mesmo objeto é o mesmo alerta entre leituras e reinícios, e um reconhecimento continua preso a ele. Nas duas regras de pod, esse objeto é o workload do pod: dois pods com falha no mesmo workload voltam como duas linhas com um único id, e dividem o mesmo reconhecimento.
  • Severidade. critical para NodeNotReady e PodCrashLooping, warning para PodPending e DeploymentReplicasUnavailable, info para KubeletVersionSkew e ContainerWithoutLimits. A lista volta ordenada por severidade e, dentro dela, pelo tempo que cada alerta está aberto.

Reconhecer e silenciar

Qualquer pessoa cujo papel tenha workloads.write pode reconhecer um alerta ou silenciá-lo por 15 minutos, 1 hora, 4 horas ou 24 horas, uma linha por vez ou uma seleção inteira de uma só vez, na página Alertas, com uma nota opcional de até 500 caracteres. A marcação é estado do próprio orbit-api, guardada por cluster em ORBIT_DATA_DIR/alertstate e aplicada por cima de toda leitura dos alertas, inclusive as do Nocturne: o alerta passa a mostrar ack como acked ou silenced, com ackedBy, ackedAt, silencedUntil e ackNote.

RotaCorpoEfeito
POST /api/v1/clusters/{id}/alerts/{alertId}/ack{note?}acked
DELETE /api/v1/clusters/{id}/alerts/{alertId}/acknenhumvolta a open quando está reconhecido
POST /api/v1/clusters/{id}/alerts/{alertId}/silence{minutes: 15, 60, 240 or 1440, note?}silenced até o prazo acabar
DELETE /api/v1/clusters/{id}/alerts/{alertId}/silencenenhumvolta a open quando está silenciado

Um silêncio que expira não precisa de ninguém para removê-lo. As chamadas DELETE reabrem um alerta independentemente de quem definiu o estado dele, e respondem 200 sem mudar nem registrar nada quando o alerta não está naquele estado, então limpar em lote uma seleção mista é seguro. Um alerta desconhecido dá 404; uma duração fora da lista ou uma nota mais longa, 400. Cada mudança vira um único evento de auditoria, alert.ack, alert.unack, alert.silence ou alert.unsilence, com o cluster, o estado antes e depois, e a nota (audit.md). Pelo web, essas quatro rotas exigem uma sessão e prova de mesma origem, e nenhum token de operador, já que mudam o estado do próprio Orbit e nunca o cluster. Um reconhecimento sobrevive a um alerta que parou de disparar e volta a valer se o mesmo alerta disparar de novo mais tarde.

NodeNotReady

Critical. Um node cuja condição Ready não é True, ou que está em cordon (spec.unschedulable). O resumo diz qual dos dois: Node ip-100-64-42-19 is NotReady ou ... is SchedulingDisabled. "Disparando desde" é a última transição da condição Ready do node.

O que verificar, com NODE sendo o node que o alerta nomeia:

bash
kubectl describe node NODEkubectl get node NODE -o jsonpath='{range .status.conditions[*]}{.type}={.status} {.reason}{"\n"}{end}'kubectl get pods -A --field-selector spec.nodeName=NODE -o wide
  • NotReady com MemoryPressure, DiskPressure ou PIDPressure verdadeiro: o node está sem recursos, e os pods dele estão sendo despejados. Descubra o que cresceu nele.
  • NotReady com todas as outras condições em Unknown: o kubelet parou de reportar. A instância caiu, saiu da rede ou o kubelet dela morreu: olhe o console da nuvem e os logs do próprio kubelet, e veja se uma interrupção de instância spot drenou o node.
  • SchedulingDisabled: alguém ou alguma coisa aplicou cordon nele, em geral um drain ou um upgrade em andamento. Rode kubectl uncordon NODE quando esse trabalho terminar; se ninguém estiver drenando o node, descubra quem aplicou o cordon antes de desfazê-lo.

PodCrashLooping

Critical. Um pod que não terminou, com um contêiner em CrashLoopBackOff ou com um restart de contêiner que terminou nos últimos 15 minutos. Um alerta por pod, com o nome do workload a que ele pertence: Pod checkout-api-6f4b7c-2xk8p restarted 4 times; last restart inside 15m. "Disparando desde" é o último restart.

O que verificar, com NAMESPACE e POD tirados do alerta:

bash
kubectl -n NAMESPACE logs POD --all-containers --previous --tail=100kubectl -n NAMESPACE describe pod PODkubectl -n NAMESPACE get events --field-selector involvedObject.name=POD --sort-by=.lastTimestamp
  • Last State: Terminated com Reason: OOMKilled: o contêiner estourou o limit de memória. Aumente o limit ou encontre o vazamento; a página do workload mostra a memória contra ele.
  • Uma saída Error com um stack trace nos logs anteriores: o processo cai na inicialização ou sob carga. Um rollout que começou junto com os restarts é o primeiro suspeito: compare a imagem que o pod roda com a anterior.
  • Uma liveness probe falhando nos eventos: o processo está vivo, mas lento demais para responder. Confira o que a probe chama e os timeouts dela antes de aumentá-los.

A aba Logs do Deck lê o contêiner anterior com um clique, e é para ver esse contêiner que um operador a abre neste caso.

PodPending

Warning. Um pod ainda em Pending mais de 5 minutos depois de criado. O resumo traz a mensagem do próprio scheduler: Pod batch-7c9d-x2 has been Pending for more than 5m: 0/3 nodes are available: 3 Insufficient cpu. Um pod que já foi agendado e continua pendente (baixando uma imagem, esperando um volume, rodando init containers) mostra not scheduled ali, em vez disso; os estados do node e dos contêineres dele contam a história real.

O que verificar, com NAMESPACE e POD tirados do alerta:

bash
kubectl -n NAMESPACE describe pod PODkubectl -n NAMESPACE get pvckubectl top nodes
  • Insufficient cpu ou Insufficient memory: os requests não cabem em nenhum node. Ajuste os requests ao tamanho real ou adicione capacidade; a página FinOps mostra quais requests estão ociosos.
  • didn't match Pod's node affinity/selector ou had untolerated taint: o pod só pode rodar em nodes que não existem ali. Confira o nodeSelector, a afinidade e as tolerâncias dele contra os grupos de nodes.
  • unbound immediate PersistentVolumeClaims, ou um claim preso em Pending: nenhum volume consegue ser provisionado. Confira a StorageClass e o driver CSI.
  • Agendado e esperando em ErrImagePull ou ImagePullBackOff: o nome da imagem, a tag ou o pull secret está errado, ou o registry não está acessível.

DeploymentReplicasUnavailable

Warning. Um Deployment com menos réplicas prontas do que pede: 2 of 3 replicas available. Ele dispara com qualquer diferença, inclusive nos segundos de um rollout ou de um scale-up comum, porque uma regra derivada não tem duração for; o que merece atenção é o que persiste. "Disparando desde" conta a partir da criação do Deployment, não de quando as réplicas sumiram. Só Deployments são verificados; um StatefulSet ou DaemonSet com réplicas faltando aparece, em vez disso, nos pods dele em crash loop ou pendentes.

O que verificar, com NAME sendo o workload que o alerta nomeia:

bash
kubectl -n NAMESPACE rollout status deploy/NAME --timeout=10skubectl -n NAMESPACE describe deploy NAMEkubectl -n NAMESPACE get pods -o wide
  • Um rollout que não avança: os pods novos falham na readiness probe ou caem. Um PodCrashLooping ou PodPending no mesmo workload nomeia o pod; a aba Eventos do workload mostra o rollout passo a passo.
  • exceeded quota nas condições: uma ResourceQuota do namespace recusa os pods novos.
  • Tudo rodando e nada pronto: a readiness probe falha. Leia o que ela verifica e se alguma dependência que ela chama está fora do ar.

KubeletVersionSkew

Info. Um node cujo kubelet está mais de uma versão minor atrás do control plane: Node ip-100-64-7-12 runs kubelet v1.29.8 against control plane v1.31.4. O próprio Kubernetes tolera uma defasagem maior, então o alerta lembra que um upgrade deixou um grupo de nodes para trás; sozinho, ele não indica indisponibilidade.

O que verificar:

bash
kubectl versionkubectl get nodes -o custom-columns=NAME:.metadata.name,KUBELET:.status.nodeInfo.kubeletVersion

Atualize o grupo de nodes, ou substitua os nodes dele, antes que o próximo upgrade do control plane aumente a defasagem além do que o Kubernetes aceita.

ContainerWithoutLimits

Info. Um workload cujos pods têm um contêiner sem limit de CPU, sem limit de memória ou sem nenhum dos dois: No memory limit on worker; No CPU limit on sidecar. Um alerta por workload, não por pod. O sinal é memória quando algum contêiner não tem limit de memória; do contrário, CPU.

O que verificar, no caso de um Deployment, com NAMESPACE e NAME tirados do alerta:

bash
kubectl -n NAMESPACE get deploy NAME -o jsonpath='{range .spec.template.spec.containers[*]}{.name}{"\t"}{.resources.limits}{"\n"}{end}'
  • Sem limit de memória: um único contêiner pode tomar a memória do node e fazer os vizinhos serem despejados. Defina um limit acima do pico de working set dele, que a página do workload mostra em gráfico.
  • Sem limit de CPU: muitas vezes é proposital, porque um limit de CPU aplica throttling a um processo que atende requisições nos picos dele. O próprio web deste produto roda sem um, por esse motivo. Deixe sem limit quando os requests estão certos e o node tem folga.

A aba Escala e recursos do workload altera requests e limits primeiro como dry run, quando a instalação permite escritas (Adendo v0.4).

Para onde ir em seguida

  • O que mais observar, e o que as probes significam: operations.md.
  • O formato do alerta, as rotas de reconhecimento e os erros delas, na referência: api.md.
  • Quem pode reconhecer e silenciar, e como conceder isso: identity.md.