Confluent ETL

현재 개발서버에 구축 되어있는 Confluent Kafka를 통한 Oracle To Postgresql ETL 데모를 아래와 같이 구성 했습니다.

먼저 OracleDB의 변경사항을 Confluent Connector를 통해 추출하고(Extract) Schema Registry가 해당 Data를 Avro 형식으로 변환하여 Topic에 Pub하고 Ksql 통해 Stream을 생성하여 Ksql쿼리로 원하는 형태의 데이터를 추출후 변환(Transform) 된 Data는 Avro형식으로 Topic에 적재 되고 Confluent Connector가 해당 Topic을 Sub하여  PostgresqlDB에 적재(Load) 하게된다.

 

Oracle CDC Source 커넥터 등록

PostgreSQL Sink 커넥터 등록

Source 커넥터가 PUB한 Topic의 AvroSchema 확인

KSQL 통한 STREAM 생성

Ksql Stream이 변환하여 적재한 Topic의 AvroSchema확인