Pular para o conteúdo

APM e tracing distribuído

Traces, mapa de serviços e métricas de span, guardados no seu próprio cluster

O APM do SRE Orbit é tracing distribuído self-hosted para times que rodam Kubernetes. Ele recebe traces OpenTelemetry via OTLP/HTTP no mesmo engine que já guarda as suas métricas, desenha o mapa de serviços e leva você de um span lento até o pod que o atendeu.

Uma requisição de checkout rastreada por 5 serviços no waterfall de traces do Orbit Deck.

APM/Traces/POST /checkout

Duração517 msStatusOK12 spans · 5 serviços

Serviço e operação

checkout-webPOST /checkout

checkout-webHTTP POST checkout-api

checkout-apiPOST /v1/orders

checkout-apicart.load

cart-sessionGET /cart/{id}

checkout-apiorders.create

checkout-apipricing.apply

checkout-apiinventory.reserve

checkout-apiHTTP POST payments-api

payments-apiPOST /v1/charges

payments-apiledger.append

payments-ledgerINSERT ledger_entries

Atributos do span · checkout-api

service.name
checkout-api
service.version
2.14.3
k8s.namespace.name
checkout
k8s.deployment.name
checkout-api
http.request.method
POST
http.route
/v1/orders

Envie traces do jeito que você já envia

Aponte o exporter OTLP/HTTP de qualquer SDK do OpenTelemetry, ou o exporter otlphttp de um Collector, para o engine, com o bearer token dele. As suas aplicações podem continuar mandando gRPC para um Collector; o Collector repassa via HTTP.

Limites. Só OTLP/HTTP, em protobuf ou JSON, com gzip opcional. Não existe listener gRPC.

otel-collector.yaml
receivers:  otlp:    protocols:      grpc: { endpoint: 0.0.0.0:4317 }      http: { endpoint: 0.0.0.0:4318 }exporters:  otlphttp/orbit:    endpoint: http://sreorbit-orbit-stack.sreorbit.svc.cluster.local:8082    headers:      Authorization: "Bearer ${env:ORBIT_STACK_AUTH_TOKEN}"    compression: gzipservice:  pipelines:    traces:      receivers: [otlp]      exporters: [otlphttp/orbit]

Cada serviço, o que ele chama e onde ele roda

Serviços, bancos de dados, filas e chamadas externas viram nós, e cada chamada vira uma aresta com a taxa de requisições; abra uma aresta para ver a taxa de erro e o p95. Cada serviço informa o namespace, o Deployment e os pods, lidos dos atributos de recurso que os seus SDKs já definem.

Limites. Um serviço sem atributos de recurso k8s.* continua com taxas, mapa e traces, e o console diz quais atributos faltam.

Mapa dos serviços de checkout no prod-use1: o p99 do checkout-api subiu desde o deploy 7f3ac1, os outros serviços estão saudáveis.

APM/Mapa de serviços

namespace checkout
  • checkout-webSaudável8/8 pods
  • checkout-apiDegradadop99 517 ms · +33,6%
  • cart-sessionSaudável6/6 pods
  • payments-apiDegradado9/10 pods
  • payments-ledgerSaudável3/3 pods

Busque por serviço, operação, status, duração ou qualquer atributo de span. O waterfall destaca o caminho crítico, e cada span abre com os atributos, eventos, recurso e o pod em que rodou, com os logs desse pod em volta do span.

Limites. O engine guarda cada span que aceita pelo tempo de retenção que você definir (ORBIT_STACK_TRACE_RETENTION); faça amostragem no SDK ou no Collector se quiser menos. Links entre spans não são guardados.

Busca de traces

APM/Traces

serviçocheckout-apistatusqualquerduração≥ 500 msatributok8s.namespace.name=checkout

Traces encontrados · mais recentes primeiro

POST /checkoutcheckout-web · 12 spans · 5 serviços517 ms

Métricas de span que as suas consultas do Tempo já leem

Cada span alimenta séries com os nomes e labels que o metrics-generator do Grafana Tempo escreve, no mesmo engine das suas métricas. Consultas e dashboards escritos para a saída do Tempo leem essas séries sem mudança, e um dashboard nativo as desenha por serviço.

Limites. Os valores de label e os buckets de latência seguem os do Tempo: span_kind="SPAN_KIND_SERVER", status_code="STATUS_CODE_ERROR".

PromQL no engine
# p99 of checkout-api, from its server spanshistogram_quantile(0.99, sum by (le) (  rate(traces_spanmetrics_latency_bucket{    service="checkout-api",    span_kind="SPAN_KIND_SERVER"}[5m])))
p99 do checkout-api, a partir das métricas de span
350 ms400 ms450 ms500 ms550 ms600 ms
deploy 7f3ac1 02:08 · +33,6%
p99 do checkout-api, a partir das métricas de span, 20 de set. 16:00 UTC a 21 de set. 16:00 UTC
SériePrimeiroMédiaMáx.Último
p99387 ms464 ms595 ms517 ms

Uma permissão decide quem lê traces

Toda tela de APM exige apm.read, que os papéis nativos viewer, editor e admin têm. Um papel customizado pode ficar sem ela, e toda leitura recusada vira um evento de auditoria.

Limites. Os traces ficam no volume do engine, na sua conta, ao lado das métricas.

Papelapm.read
viewerConcedida
editorConcedida
adminConcedida
finopscustomizadoNão concedida

negadoaccess.deniedapm.read recusado para o papel finops

Veja o SRE Orbit nos seus próprios clusters

Conte o que você roda. Uma pessoa responde em até um dia útil para marcar uma demonstração do console e, como o SRE Orbit ainda está no começo, os próprios engenheiros que o constroem fazem a instalação com você.

  • Instalação feita com você, ao lado das ferramentas que você já usa.
  • Uma cópia do seu remote-write, para comparar disco, memória e latência de consulta com os seus próprios dados.
  • Trabalho direto com os engenheiros que constroem o produto.

Abrir a demo ao vivo

Uma pessoa responde em até um dia útil. Usamos os seus dados só para responder a você.