APM e tracing distribuído
Traces, mapa de serviços e métricas de span, guardados no seu próprio cluster
O APM do SRE Orbit é tracing distribuído self-hosted para times que rodam Kubernetes. Ele recebe traces OpenTelemetry via OTLP/HTTP no mesmo engine que já guarda as suas métricas, desenha o mapa de serviços e leva você de um span lento até o pod que o atendeu.
APM/Traces/POST /checkout
Duração517 msStatusOK12 spans · 5 serviços
Serviço e operação
checkout-webPOST /checkout
checkout-webHTTP POST checkout-api
checkout-apiPOST /v1/orders
checkout-apicart.load
cart-sessionGET /cart/{id}
checkout-apiorders.create
checkout-apipricing.apply
checkout-apiinventory.reserve
checkout-apiHTTP POST payments-api
payments-apiPOST /v1/charges
payments-apiledger.append
payments-ledgerINSERT ledger_entries
Atributos do span · checkout-api
- service.name
- checkout-api
- service.version
- 2.14.3
- k8s.namespace.name
- checkout
- k8s.deployment.name
- checkout-api
- http.request.method
- POST
- http.route
- /v1/orders
Envie traces do jeito que você já envia
Aponte o exporter OTLP/HTTP de qualquer SDK do OpenTelemetry, ou o exporter otlphttp de um Collector, para o engine, com o bearer token dele. As suas aplicações podem continuar mandando gRPC para um Collector; o Collector repassa via HTTP.
Limites. Só OTLP/HTTP, em protobuf ou JSON, com gzip opcional. Não existe listener gRPC.
receivers: otlp: protocols: grpc: { endpoint: 0.0.0.0:4317 } http: { endpoint: 0.0.0.0:4318 }exporters: otlphttp/orbit: endpoint: http://sreorbit-orbit-stack.sreorbit.svc.cluster.local:8082 headers: Authorization: "Bearer ${env:ORBIT_STACK_AUTH_TOKEN}" compression: gzipservice: pipelines: traces: receivers: [otlp] exporters: [otlphttp/orbit]Cada serviço, o que ele chama e onde ele roda
Serviços, bancos de dados, filas e chamadas externas viram nós, e cada chamada vira uma aresta com a taxa de requisições; abra uma aresta para ver a taxa de erro e o p95. Cada serviço informa o namespace, o Deployment e os pods, lidos dos atributos de recurso que os seus SDKs já definem.
Limites. Um serviço sem atributos de recurso k8s.* continua com taxas, mapa e traces, e o console diz quais atributos faltam.
APM/Mapa de serviços
- checkout-webSaudável8/8 pods
- checkout-apiDegradadop99 517 ms · +33,6%
- cart-sessionSaudável6/6 pods
- payments-apiDegradado9/10 pods
- payments-ledgerSaudável3/3 pods
Ache a requisição lenta e veja o caminho inteiro
Busque por serviço, operação, status, duração ou qualquer atributo de span. O waterfall destaca o caminho crítico, e cada span abre com os atributos, eventos, recurso e o pod em que rodou, com os logs desse pod em volta do span.
Limites. O engine guarda cada span que aceita pelo tempo de retenção que você definir (ORBIT_STACK_TRACE_RETENTION); faça amostragem no SDK ou no Collector se quiser menos. Links entre spans não são guardados.
APM/Traces
Traces encontrados · mais recentes primeiro
Métricas de span que as suas consultas do Tempo já leem
Cada span alimenta séries com os nomes e labels que o metrics-generator do Grafana Tempo escreve, no mesmo engine das suas métricas. Consultas e dashboards escritos para a saída do Tempo leem essas séries sem mudança, e um dashboard nativo as desenha por serviço.
Limites. Os valores de label e os buckets de latência seguem os do Tempo: span_kind="SPAN_KIND_SERVER", status_code="STATUS_CODE_ERROR".
# p99 of checkout-api, from its server spanshistogram_quantile(0.99, sum by (le) ( rate(traces_spanmetrics_latency_bucket{ service="checkout-api", span_kind="SPAN_KIND_SERVER"}[5m])))| Série | Primeiro | Média | Máx. | Último |
|---|---|---|---|---|
| p99 | 387 ms | 464 ms | 595 ms | 517 ms |
Uma permissão decide quem lê traces
Toda tela de APM exige apm.read, que os papéis nativos viewer, editor e admin têm. Um papel customizado pode ficar sem ela, e toda leitura recusada vira um evento de auditoria.
Limites. Os traces ficam no volume do engine, na sua conta, ao lado das métricas.
| Papel | apm.read |
|---|---|
| viewer | Concedida |
| editor | Concedida |
| admin | Concedida |
| finopscustomizado | Não concedida |
negadoaccess.deniedapm.read recusado para o papel finops
Veja o SRE Orbit nos seus próprios clusters
Conte o que você roda. Uma pessoa responde em até um dia útil para marcar uma demonstração do console e, como o SRE Orbit ainda está no começo, os próprios engenheiros que o constroem fazem a instalação com você.
- Instalação feita com você, ao lado das ferramentas que você já usa.
- Uma cópia do seu remote-write, para comparar disco, memória e latência de consulta com os seus próprios dados.
- Trabalho direto com os engenheiros que constroem o produto.