Operação
Regras de alerta
Não há Alertmanager neste build. Com ORBIT_DEMO_DATA=false, o orbit-api deriva os
alertas dos mesmos objetos do Kubernetes que o resto do Deck lê, com seis regras, e cada uma
delas cobre algo para o qual um SRE, de outro modo, escreveria uma PrometheusRule. Esta
página é o runbook de cada uma: o que a faz disparar e o que verificar primeiro. Os links de
runbook do Deck caem na seção da regra, e o endereço dela é estável:
/docs/alerts#nodenotready, e assim por diante para as outras cinco. O parque de
demonstração, em vez disso, serve o seu próprio conjunto fixo de alertas, aqueles cuja
história o CLAIMS.md conta.
Como um alerta derivado se comporta
- Avaliado a cada leitura. Cada
GET /api/v1/clusters/{id}/alertsroda as seis regras contra o cache que a fonte ao vivo mantém do cluster; não existe loop de avaliação nem histórico. Um alerta existe enquanto a condição dele se sustenta e some na primeira leitura depois que ela deixa de valer. - Sempre disparando, nunca roteado. Uma regra derivada não tem uma duração
fordurante a qual ficar pendente, então todo alerta éstate: "firing", e nenhum carregateam: nada dentro do cluster diz quem é o dono de um workload, e inventar um dono aciona as pessoas erradas. - Identidade estável. O id combina o cluster, a regra, o namespace e o objeto que o alerta aponta, então a mesma regra sobre o mesmo objeto é o mesmo alerta entre leituras e reinícios, e um reconhecimento continua preso a ele. Nas duas regras de pod, esse objeto é o workload do pod: dois pods com falha no mesmo workload voltam como duas linhas com um único id, e dividem o mesmo reconhecimento.
- Severidade.
criticalparaNodeNotReadyePodCrashLooping,warningparaPodPendingeDeploymentReplicasUnavailable,infoparaKubeletVersionSkeweContainerWithoutLimits. A lista volta ordenada por severidade e, dentro dela, pelo tempo que cada alerta está aberto.
Reconhecer e silenciar
Qualquer pessoa cujo papel tenha workloads.write pode reconhecer um alerta ou silenciá-lo
por 15 minutos, 1 hora, 4 horas ou 24 horas, uma linha por vez ou uma seleção inteira de uma
só vez, na página Alertas, com uma nota opcional de até 500 caracteres. A marcação é estado
do próprio orbit-api, guardada por cluster em ORBIT_DATA_DIR/alertstate e aplicada por
cima de toda leitura dos alertas, inclusive as do Nocturne: o alerta passa a mostrar ack
como acked ou silenced, com ackedBy, ackedAt, silencedUntil e ackNote.
| Rota | Corpo | Efeito |
|---|---|---|
POST /api/v1/clusters/{id}/alerts/{alertId}/ack | {note?} | acked |
DELETE /api/v1/clusters/{id}/alerts/{alertId}/ack | nenhum | volta a open quando está reconhecido |
POST /api/v1/clusters/{id}/alerts/{alertId}/silence | {minutes: 15, 60, 240 or 1440, note?} | silenced até o prazo acabar |
DELETE /api/v1/clusters/{id}/alerts/{alertId}/silence | nenhum | volta a open quando está silenciado |
Um silêncio que expira não precisa de ninguém para removê-lo. As chamadas DELETE reabrem
um alerta independentemente de quem definiu o estado dele, e respondem 200 sem mudar nem
registrar nada quando o alerta não está naquele estado, então limpar em lote uma seleção
mista é seguro. Um alerta desconhecido dá 404; uma duração fora da lista ou uma nota mais
longa, 400. Cada mudança vira um único evento de auditoria, alert.ack, alert.unack,
alert.silence ou alert.unsilence, com o cluster, o estado antes e depois, e a nota
(audit.md). Pelo web, essas quatro rotas exigem uma sessão e prova de mesma
origem, e nenhum token de operador, já que mudam o estado do próprio Orbit e nunca o
cluster. Um reconhecimento sobrevive a um alerta que parou de disparar e volta a valer se o
mesmo alerta disparar de novo mais tarde.
NodeNotReady
Critical. Um node cuja condição Ready não é True, ou que está em cordon
(spec.unschedulable). O resumo diz qual dos dois: Node ip-100-64-42-19 is NotReady ou
... is SchedulingDisabled. "Disparando desde" é a última transição da condição Ready do
node.
O que verificar, com NODE sendo o node que o alerta nomeia:
kubectl describe node NODEkubectl get node NODE -o jsonpath='{range .status.conditions[*]}{.type}={.status} {.reason}{"\n"}{end}'kubectl get pods -A --field-selector spec.nodeName=NODE -o wideNotReadycomMemoryPressure,DiskPressureouPIDPressureverdadeiro: o node está sem recursos, e os pods dele estão sendo despejados. Descubra o que cresceu nele.NotReadycom todas as outras condições emUnknown: o kubelet parou de reportar. A instância caiu, saiu da rede ou o kubelet dela morreu: olhe o console da nuvem e os logs do próprio kubelet, e veja se uma interrupção de instância spot drenou o node.SchedulingDisabled: alguém ou alguma coisa aplicou cordon nele, em geral um drain ou um upgrade em andamento. Rodekubectl uncordon NODEquando esse trabalho terminar; se ninguém estiver drenando o node, descubra quem aplicou o cordon antes de desfazê-lo.
PodCrashLooping
Critical. Um pod que não terminou, com um contêiner em CrashLoopBackOff ou com um
restart de contêiner que terminou nos últimos 15 minutos. Um alerta por pod, com o nome do
workload a que ele pertence: Pod checkout-api-6f4b7c-2xk8p restarted 4 times; last restart inside 15m.
"Disparando desde" é o último restart.
O que verificar, com NAMESPACE e POD tirados do alerta:
kubectl -n NAMESPACE logs POD --all-containers --previous --tail=100kubectl -n NAMESPACE describe pod PODkubectl -n NAMESPACE get events --field-selector involvedObject.name=POD --sort-by=.lastTimestampLast State: TerminatedcomReason: OOMKilled: o contêiner estourou o limit de memória. Aumente o limit ou encontre o vazamento; a página do workload mostra a memória contra ele.- Uma saída
Errorcom um stack trace nos logs anteriores: o processo cai na inicialização ou sob carga. Um rollout que começou junto com os restarts é o primeiro suspeito: compare a imagem que o pod roda com a anterior. - Uma liveness probe falhando nos eventos: o processo está vivo, mas lento demais para responder. Confira o que a probe chama e os timeouts dela antes de aumentá-los.
A aba Logs do Deck lê o contêiner anterior com um clique, e é para ver esse contêiner que um operador a abre neste caso.
PodPending
Warning. Um pod ainda em Pending mais de 5 minutos depois de criado. O resumo traz a
mensagem do próprio scheduler:
Pod batch-7c9d-x2 has been Pending for more than 5m: 0/3 nodes are available: 3 Insufficient cpu.
Um pod que já foi agendado e continua pendente (baixando uma imagem, esperando um volume,
rodando init containers) mostra not scheduled ali, em vez disso; os estados do node e dos
contêineres dele contam a história real.
O que verificar, com NAMESPACE e POD tirados do alerta:
kubectl -n NAMESPACE describe pod PODkubectl -n NAMESPACE get pvckubectl top nodesInsufficient cpuouInsufficient memory: os requests não cabem em nenhum node. Ajuste os requests ao tamanho real ou adicione capacidade; a página FinOps mostra quais requests estão ociosos.didn't match Pod's node affinity/selectorouhad untolerated taint: o pod só pode rodar em nodes que não existem ali. Confira onodeSelector, a afinidade e as tolerâncias dele contra os grupos de nodes.unbound immediate PersistentVolumeClaims, ou um claim preso emPending: nenhum volume consegue ser provisionado. Confira a StorageClass e o driver CSI.- Agendado e esperando em
ErrImagePullouImagePullBackOff: o nome da imagem, a tag ou o pull secret está errado, ou o registry não está acessível.
DeploymentReplicasUnavailable
Warning. Um Deployment com menos réplicas prontas do que pede:
2 of 3 replicas available. Ele dispara com qualquer diferença, inclusive nos segundos de um
rollout ou de um scale-up comum, porque uma regra derivada não tem duração for; o que
merece atenção é o que persiste. "Disparando desde" conta a partir da criação do Deployment,
não de quando as réplicas sumiram. Só Deployments são verificados; um StatefulSet ou
DaemonSet com réplicas faltando aparece, em vez disso, nos pods dele em crash loop ou
pendentes.
O que verificar, com NAME sendo o workload que o alerta nomeia:
kubectl -n NAMESPACE rollout status deploy/NAME --timeout=10skubectl -n NAMESPACE describe deploy NAMEkubectl -n NAMESPACE get pods -o wide- Um rollout que não avança: os pods novos falham na readiness probe ou caem. Um
PodCrashLoopingouPodPendingno mesmo workload nomeia o pod; a aba Eventos do workload mostra o rollout passo a passo. exceeded quotanas condições: umaResourceQuotado namespace recusa os pods novos.- Tudo rodando e nada pronto: a readiness probe falha. Leia o que ela verifica e se alguma dependência que ela chama está fora do ar.
KubeletVersionSkew
Info. Um node cujo kubelet está mais de uma versão minor atrás do control plane:
Node ip-100-64-7-12 runs kubelet v1.29.8 against control plane v1.31.4. O próprio Kubernetes
tolera uma defasagem maior, então o alerta lembra que um upgrade deixou um grupo de nodes para
trás; sozinho, ele não indica indisponibilidade.
O que verificar:
kubectl versionkubectl get nodes -o custom-columns=NAME:.metadata.name,KUBELET:.status.nodeInfo.kubeletVersionAtualize o grupo de nodes, ou substitua os nodes dele, antes que o próximo upgrade do control plane aumente a defasagem além do que o Kubernetes aceita.
ContainerWithoutLimits
Info. Um workload cujos pods têm um contêiner sem limit de CPU, sem limit de memória ou
sem nenhum dos dois: No memory limit on worker; No CPU limit on sidecar. Um alerta por
workload, não por pod. O sinal é memória quando algum contêiner não tem limit de memória; do
contrário, CPU.
O que verificar, no caso de um Deployment, com NAMESPACE e NAME tirados do alerta:
kubectl -n NAMESPACE get deploy NAME -o jsonpath='{range .spec.template.spec.containers[*]}{.name}{"\t"}{.resources.limits}{"\n"}{end}'- Sem limit de memória: um único contêiner pode tomar a memória do node e fazer os vizinhos serem despejados. Defina um limit acima do pico de working set dele, que a página do workload mostra em gráfico.
- Sem limit de CPU: muitas vezes é proposital, porque um limit de CPU aplica throttling a um
processo que atende requisições nos picos dele. O próprio
webdeste produto roda sem um, por esse motivo. Deixe sem limit quando os requests estão certos e o node tem folga.
A aba Escala e recursos do workload altera requests e limits primeiro como dry run, quando a instalação permite escritas (Adendo v0.4).
Para onde ir em seguida
- O que mais observar, e o que as probes significam:
operations.md. - O formato do alerta, as rotas de reconhecimento e os erros delas, na referência:
api.md. - Quem pode reconhecer e silenciar, e como conceder isso:
identity.md.