DEV_희쨔응

Fluentd는 Kafka를 사용하는 다양한 플랫폼에서 사용 하는 오픈 소스 데이터 수집기 입니다. 특징으로는 다양한 Source 와 Target의 Plugin을 제공 하여 확장성이 뛰어나고 Zero-Copy를 기반으로 한 빠른 성능 입니다. 현재 Test Server에 구축이 되어있고 Kafka TO ElasticSearch 데모 환경이 구성 되어 있습니다. Fluentd 데모 구성도 Fluentd 구동화면 키바나에서 Data 조회

개발서버에 PrestoDB를 구축했습니다. PrestoDB는 RDBMS의 쿼리 및 ksql, elasticsearch쿼리(dsql)를 통합해주는 오픈소스입니다. 현재 Oracle, PostgreSQL과 Elasticsearch에 있는 데이터를 조회하는 TEST를 진행하였습니다. presto는 자체적으로 jdbc를 제공 하여 하나의 jdbc 연동으로 다양한 DBMS에 접근 할 수 있는 개발 환경을 제공 하며 통합된 쿼리로 다양한 DBMS에서 Data 추출이 가능합니다. ▼ Oracle, PostgreSQL 테이블에 적재된 데이터를 Presto 표준 쿼리로 조회 ▼ Elasticsearch 인덱스에 적재된 데이터를 Presto 표준 쿼리로 조회 (Json 형식으로 적재된 데이터가 테이블 형식으로 조회됨) D..

개발서버에 ksqlDB을 구축하였습니다. ksqlDB는 Kafka의 Topic 데이터 조회 및 분석에서 사용되는 오픈소스입니다. Confluent에서 제공하는 ksql유은 현재 도커 컨테이너 형식으로 배포하고 있으며, 해당 형식에 맞게 개발서버에 도커를 구성 후 ksql 컨테이너를 배포한 상황입니다. ▼ 개발서버에 도커/도커컴포즈 구성 후 ksql 서버 도커 이미지 배포 및 백그라운드 실행 ksql 도커 이미지 ksql 도커컴포즈 실행 확인 서버에 올린 도커 컨테이너 목록 ksql 실행 화면 ksql로 카프카에 있는 토픽 조회 ksql 쿼리로 토픽에 들어있는 데이터 조회 추후 PrestoDB와 연동하여 운영할 계획에 있습니다.

개발서버에 구축된 Kafka 3 Node Cluster의 다양한 정보를 대시보드로 시각화하기 위해 Prometheus로 Kafka 정보를 긁어오고 해당 정보를 데이터 소스로 사용하여 Grafana 대시보드로 표출했습니다. Prometheus로 Kafka 정보를 긁어오기 위해 구축된 세 Kafka에 각각 JMX exporter, Kafka exporter를 구성해야 합니다. JMX exporter는 실행 중인 애플리케이션의 Status를 전송해주는 오픈 에이전트입니다. Kafka exporter는 Kafka 파티션과 토픽의 Status를 전송해주는 오픈 에이전트입니다. JMX exporter, Kafka exporter로 Kafka 각각의 서버 Status가 Prometheus의 Target에 정상적으로 ..