DEV_희쨔응

개발서버에 Kafka Manager(CMAK)를 구축했습니다. Kafka Manager란 GUI 기반 카프카 관리 도구로 웹 환경에서 클러스터, 토픽 등의 생성 및 변경, Consumer Group 확인 등의 작업을 진행할 수 있습니다. Kafka Manager는 현재 개발서버에서 백그라운드로 실행 중입니다. Kafka Manager 구동 확인 Kafka Manager의 IP와 Port로 웹에서 접속을 하면 아래와 같이 웹 환경에서 Kafka 모니터링 및 관리가 가능합니다. Kafka Manager Web Kafka Manager 토픽 생성 화면 Kafka Manager 브로커 서버 관리 화면 Kafka manager 컨슈머 관리 화면

개발서버에 Kafka 모니터링 툴 중 오픈소스로 제공되는 Kafdrop을 구축하였습니다. Kafdrop의 주기능은 Kafka의 Topic 관리와 해당 Topic에 적재된 데이터 및 오프셋 모니터링입니다. - 토픽 생성 / 파티션 설정(생성시에만 가능) / 오프셋 조회 가능 - 브로커 정보 조회 가능 - 토픽 데이터 파티션별 및 시간별 조회 가능 Broker & Topic 확인 Topic 정보 확인 Topic 메세지 확인

CONFLUENT CLOUD란 Kafka 에코 시스템에서 가장 많이 사용하는 Kafka Connector의 데이터 소스/싱크 SQL기반의 스트림처리 기능들을 UI환경에서 완전히 관리 할 수 있게 끔 CONFLUENT에서 유료로 제공하는 서비스 입니다. CONFLUENT CLOUD 클러스터 조회 화면 CONFLUENT CLOUD 클러스터 상세 정보 조회 화면 CONFLUENT CLOUD 토픽 생성 CONFLUENT CLOUD KsqlDB로 토픽 정보 조회 CONFLUENT CLOUD Java API KEY발급 CONFLUENT CLOUD API KEY발급후 Java프로듀서 실행 화면 CONFLUENT CLOUD Java프로듀서 조회 CONFLUENT CLOUD Connector 소스/싱크 플러그인 조회

개발서버에 Kafka/Zookeeper 3 Node Cluster 구축을 했습니다. (CentOS 7 환경) Kafka 3, Zookeeper 3으로 총 6대 서버가 필요합니다. Kafka란 아파치 재단이 스칼라로 개발한 오픈소스 메세지 브로커 툴입니다. 현재 많은 기관과 기업에서 사용 중인 오픈소스이고 높은 처리량과 낮은 지연시간으로 실시간 작업에 적합한 툴입니다. ▼ Zookeeper 구동 확인 Zookeeper 1 : follower Zookeeper 2 : leader Zookeeper 3 : follower ▼ Kafka 구동 확인 Kafka 1 Kafka 2 Kafka 3 ▼ Kafka Topic에 메세지 전송 및 수신 확인 topic1 메세지 전송 topic1 메세지 수신