DEV_희쨔응

개발서버에 Kafka/Zookeeper 3 Node Cluster 구축을 했습니다. (CentOS 7 환경) Kafka 3, Zookeeper 3으로 총 6대 서버가 필요합니다. Kafka란 아파치 재단이 스칼라로 개발한 오픈소스 메세지 브로커 툴입니다. 현재 많은 기관과 기업에서 사용 중인 오픈소스이고 높은 처리량과 낮은 지연시간으로 실시간 작업에 적합한 툴입니다. ▼ Zookeeper 구동 확인 Zookeeper 1 : follower Zookeeper 2 : leader Zookeeper 3 : follower ▼ Kafka 구동 확인 Kafka 1 Kafka 2 Kafka 3 ▼ Kafka Topic에 메세지 전송 및 수신 확인 topic1 메세지 전송 topic1 메세지 수신

개발서버에 Kafka Connector 구축했습니다. Kafka Connector란 아파치 카프카와 다른 Data System간의 확장이 가능하고 안정적인 데이터 스트리밍을 위한 도구입니다. ▼ Kafka Connector 테스트 아키텍처 ▼ Kafka Connector 리스트 조회 ▼ MySQL JDBC & Elasticsearch lib 추가 ▼ Kafka Connector 소스 리스트 ▼ Kafka Topic확인 ▼ Elasticsearch Index확인 (Kibana Dev Tools 사용하여 조회)