Prometheus & Grafana

개발서버에 구축된 Kafka 3 Node Cluster의 다양한 정보를 대시보드로 시각화하기 위해

Prometheus로 Kafka 정보를 긁어오고 해당 정보를 데이터 소스로 사용하여 Grafana 대시보드로 표출했습니다.

 

 

Prometheus로 Kafka 정보를 긁어오기 위해 구축된 세 Kafka에 각각 JMX exporter, Kafka exporter를 구성해야 합니다.

 

 

JMX exporter는 실행 중인 애플리케이션의 Status를 전송해주는 오픈 에이전트입니다.

Kafka exporter는 Kafka 파티션과 토픽의 Status를 전송해주는 오픈 에이전트입니다.

 

 

JMX exporter, Kafka exporter로 Kafka 각각의 서버 Status가 Prometheus의 Target에 정상적으로 스크래핑된 것을 확인할 수 있습니다.

 

 

Kafka 정보를 Prometheus에서 시각화하는 작업을 완료하였습니다.

Prometheus에서 구현한 Kafka Dashboard

 

 

Prometheus는 UI/UX 적인 부분에서 가시성이 부족하기 때문에 Grafana에서 제공하는 Prometheus 플러그인을 사용하여 해당 Kafka 정보를 시각화하는 작업도 완료하였습니다.

Grafana에서 구현한 Kafka Dashboard