DEV_희쨔응

현재 개발서버에 아래 구성도와 같이 Impala/Kudu 에 적재 되어 있는 Data를 Kafka Connector로 추출하여 Kafka Topic에 적재하는 데모를 구축 하였습니다. Impala Data 확인 kafka Connector 구동 화면 Kafka Kudu Source Connector 코드 { "name": "kudu-source", "config": { "connector.class": "io.confluent.connect.kudu.KuduSourceConnector", "tasks.max": "1", "impala.server": "10.65.41.128", "impala.port": "21050", "kudu.database": "test", "mode": "incrementing"..

Debezium Source Connector Debezium은 Source Connector 역할 각 DB 별 Debezium Connector는 별도(for MySQL, for PGSQL, for DB2 등) jar 파일(Java Class library)로 JDK 설치 필요 Connector에서 Topic 생성 시 다른 Sink Connector 들이 읽을 수 있도록 공용 메타 데이터로 생성 Debezium 홈페이지 : https://debezium.io/ Kafka Plugins 추가 [root@localhost /]# wget https://repo1.maven.org/maven2/io/debezium/debezium-connector-mysql/1.9.7.Final/debezium-connec..

PrestoDB KafkaConnector는 kafka Topic의 Data를 테이블 형식으로 정형화 하여 SQL쿼리로 Topic의 Data를 조회 할수 있게 하고 JDBC를 제공 하여 Produser/Consumer API개발에 편의성을 제공합니다. Kafdrop 으로 Kafka Topic Data 조회 PrestoDB catalog에 kafka 프로퍼티 추가 /presto-server-0.273.3/etc/catalog/kafka.properties #커넥터 종류 connector.name=kafka #kafka 브로커 서버 정보 kafka.nodes=ip:9092,ip:9092,ip:9092 #정형화할 Topic name kafka.table-names=tpch.customer,tpch.orders..

현재 개발서버에 구축 되어있는 Confluent Kafka를 통한 Oracle To Postgresql ETL 데모를 아래와 같이 구성 했습니다. 먼저 OracleDB의 변경사항을 Confluent Connector를 통해 추출하고(Extract) Schema Registry가 해당 Data를 Avro 형식으로 변환하여 Topic에 Pub하고 Ksql 통해 Stream을 생성하여 Ksql쿼리로 원하는 형태의 데이터를 추출후 변환(Transform) 된 Data는 Avro형식으로 Topic에 적재 되고 Confluent Connector가 해당 Topic을 Sub하여 PostgresqlDB에 적재(Load) 하게된다.