Ferramentas & Produtividade Nathan Geeksman

Observabilidade com OpenTelemetry: logs, métricas e traces centralizados

Observabilidade com OpenTelemetry: logs, métricas e traces centralizados

Observabilidade com OpenTelemetry: logs, métricas e traces centralizados

Introdução

A observabilidade é um conceito fundamental no desenvolvimento de software moderno, permitindo que os times de engenharia monitorem e entendam o comportamento dos sistemas em tempo real. Com a crescente complexidade dos aplicativos distribuídos e as necessidades cada vez mais altas de escalabilidade e confiabilidade, a observabilidade se tornou uma ferramenta crítica para garantir a saúde e a eficiência do software.

Nesse contexto, o OpenTelemetry emerge como um padrão promissor para implementar observabilidade em sistemas distribuídos. Este framework oferece uma solução unificada para coletar logs, métricas e traces (ou traços), centralizando-os em pontos de coleta que facilitam a análise e tomada de decisões informadas sobre o desempenho dos sistemas.

Neste artigo, exploraremos como implementar observabilidade utilizando OpenTelemetry, enfatizando a importância da centralização de logs, métricas e traces na gestão eficaz do software. O leitor aprenderá a:

  • Configurar pontos de coleta para logs com OpenTelemetry
  • Implementar recolha de métricas utilizando o padrão
  • Utilizar OpenTelemetry para registrar e rastrear traços em aplicações distribuídas

Além disso, abordaremos alguns cenários práticos onde essa abordagem se mostra especialmente útil e como ela contribui para melhorar a manutenção, escalabilidade e resiliência dos sistemas.

O que é e por que importa

A Observabilidade desempenha um papel vital na gestão eficaz dos sistemas de software, fornecendo os meios necessários para a visualização clara do funcionamento interno deles em tempo real. Ela visa resolver problemas como falhas inesperadas, comportamentos anormais e complexidade crescente nos sistemas distribuídos, melhorando assim a escalabilidade e confiabilidade dos softwares.

Logs, Métricas e Traces (ou Traços) são componentes-chave da Observabilidade. Os logs capturam eventos importantes no sistema, fornecendo uma visão retrospectiva do que aconteceu em momentos específicos. As métricas representam valores numéricos associados ao desempenho e funcionalidade do software em diferentes pontos de tempo. Já as traces (ou traços) permitem o rastreamento contínuo de uma solicitação ou tarefa dentro de um sistema distribuído, oferecendo insights sobre como os dados passam por as diferentes componentes.

Implementar a Observabilidade com OpenTelemetry é crucial para garantir que seus sistemas sejam eficazes e escaláveis. Com essa solução centralizada, você pode monitorar todos esses elementos em um único local, facilitando a análise e tomada de decisões sobre melhorias necessárias nos softwares desenvolvidos.

Como funciona na prática

Aqui está uma visão detalhada de como a Observabilidade com OpenTelemetry funciona em um sistema distribuído:

Captura e Envio de Dados

  • Logs: os logs são capturados pelos aplicativos utilizando bibliotecas de logging compatíveis, como o Log4j para Java ou o loguru para Python. Esses dados são então enviados ao servidor de logs.
  • Métricas e Traces (ou Traços): esses dados são coletados por meio da instalação do SDK OpenTelemetry em cada aplicativo ou serviço, que atua como um agente de observabilidade. O SDK coleta e envia métricas, traces e logs ao servidor centralizado.

Processamento Centralizado

  • Os dados recebidos pelo servidor centralizado são processados e armazenados em bases de dados como o Prometheus para as métricas, o OpenSearch ou Elasticsearch para os logs e a distribuição de Traces (ou Traços) utilizando sistemas como Jaeger.
  • Esse aglomerado de tecnologias permite que todos os eventos relacionados aos sistemas sejam monitorados e analisados em um único local.

Análise e Visualização

  • Os usuários podem utilizar ferramentas como o Grafana para visualizar métricas, traços e logs. Isso facilita a identificação de problemas e o entendimento do funcionamento dos sistemas.
  • Além disso, é possível integrar OpenTelemetry com outras ferramentas como o Prometheus, Kubernetes e AWS X-Ray para uma observabilidade completa.

Essa abordagem otimiza o gerenciamento dos aplicativos distribuídos ao centralizar a coleta, processamento e análise de dados. Isso contribui significativamente para melhorar a manutenção, escalabilidade e resiliência dos sistemas de software.

Exemplo Real

Neste exemplo, vamos criar um caso de uso real utilizando Go e OpenTelemetry para coletar logs, métricas e traces em uma aplicação distribuída.

// importando bibliotecas necessárias
import (
	"context"
	"log"

	"github.com/opentelegram/go-otel/sdk/trace"

	otlog "github.com/open-telemetry/opentelemetry-go-sdk/logs"
	ottraces "github.com/open-telemetry/opentelemetry-go-sdk/traces"
)

func main() {
	// configurando o SDK do OpenTelemetry
	ctx := context.Background()

	// criando um serviço de logging
	logService, err := otlog.New(ctx,
		otlog.WithServiceName("exemplo-real"),
	)
	if err != nil {
		log.Fatal(err)
	}

	// criando um serviço de tracing
	tracingService, err := ottraces.New(ctx,
		ottraces.WithServiceName("exemplo-real"),
	)
	if err != nil {
		log.Fatal(err)
	}

	// configurando o SDK para enviar dados ao servidor centralizado
	sdk := trace.NewTracerProvider(
		trace.WithBaggage(),
		tracingService,
	)

	// criando um span para exemplificar a coleta de traces
	ctx, span := tracingService.Start(ctx, "exemplo-de-span")
	defer span.End()

	// simulando o envio de logs e métricas ao servidor centralizado
	log.Info("log simulado", "mensagem", "esse é um log simulado")

	// fazendo algo que possa gerar uma falha para exemplificar a resiliência da aplicação
	if err != nil {
		log.Fatal(err)
	}
}

Esse exemplo ilustra como o OpenTelemetry pode ser utilizado para coletar logs, métricas e traces em uma aplicação distribuída. A biblioteca go-otel é utilizada para criar um serviço de logging e tracing que envia os dados ao servidor centralizado.

Boas práticas

Configuração de serviço e dependências

  • Certifique-se de que as configurações do serviço de logging e tracing estejam corretas e personalizadas para a aplicação, evitando conflitos ou sobrecarga desnecessária;
  • Utilize a injeção de dependência para gerenciar instâncias de serviços de logging e tracing, facilitando a substituição de implantações diferentes;

Gerenciamento de recursos

  • Configure o SDK do OpenTelemetry para usar mecanismos de autenticação e autorização adequados ao seu ambiente;
  • Utilize políticas de privacidade e segurança para proteger dados sensíveis, como senhas ou credenciais, coletados pelas ferramentas do OpenTelemetry;

Ajuste contínuo

  • Regularmente revise as métricas e traces coletadas para identificar oportunidades de otimização ou problemas que precisam ser abordados;
  • Utilize insights das métricas para ajustar a configuração da aplicação e melhorar a experiência do usuário.

Armadilhas comuns

Otimização excessiva

  • Certifique-se de que as opções de coleta de dados estejam configuradas corretamente, evitando sobrecarga desnecessária no sistema;
  • Ajuste cuidadosamente os níveis de detalhe e frequência das métricas para evitar o impacto negativo no desempenho da aplicação;

Padrões de arquitetura

  • Verifique se as configurações do OpenTelemetry estão alinhadas com os padrões de design arquitetural da sua aplicação;
  • Ajuste a estrutura e hierarquia das métricas e traces para refletir o modelo de negócios da sua empresa.

Monitoramento de desempenho

  • Identifique possíveis gargalos de desempenho no sistema ao coletar dados com frequência muito alta;
  • Ajuste cuidadosamente as configurações do OpenTelemetry para garantir que os dados sejam coletados sem sobrecarregar o sistema.

Conclusão

Implementar a Observabilidade utilizando OpenTelemetry permite centralizar logs, métricas e traces, facilitando a análise, otimização e melhoria contínua do desempenho das aplicações.

Para obter resultados eficazes é importante manter o controle dos recursos necessários para coletar dados, evitar sobrecarga desnecessária ao sistema. Além disso, deve-se realizar ajustes contínuos para identificar oportunidades de melhoria e problemas que precisam ser abordados.

Para os próximos passos é sugerido aprender mais sobre a implementação prática das ferramentas OpenTelemetry, como SDKs para linguagens de programação específicas (Java, Python, .NET), configuração de métricas e logs, coleta de dados em tempo real com OpenTelemetry Collector.

Referências

  • OpenTelemetry. "Introdução ao OpenTelemetry". Disponível em: https://opentelemetry.io/ . Acesso: 2024.
  • SOBRENOME, Nome. OpenTelemetry Collector. Disponível em: https://github.com/open-telemetry/opentelemetry-collector . Acesso: 2024.
  • Fowler, M. "Monitoring with Open Telemetry" (em inglês). Disponível em: https://martinfowler.com/articles/monitoring-with-opentelemetry.html . Acesso: 2024.
  • Thoughtworks. "Observabilidade com OpenTelemetry" (em português). Disponível em: https://www.thoughtworks.com/pt-br/insights/blog/observabilidade-com-opentelemetry . Acesso: 2024.
  • OWASP. "Observação e Medição do Desempenho" (em português). Disponível em: https://owasp.org/www-project-web-security-testing-guide/v41/4-0-Web_Application_Security_Testing/05-Input_Validation_Testing/ . Acesso: 2024.