DEV_희쨔응

개요Kafka 를 통한 다양한 작업들이 늘어남에 따라 Topic에 적재되는 실시간성 Data를 조건에 맞게 변환 및 가공 하기 위한 방안을 생각 하던 중 과거 KSQL 과 Schema Registry 통해 해당 형식의 작업을 처리 했었던 경험을 바탕으로 현재 사용중인 BETA Kafka 에서 해당 환경을 구축 후 간단한 테스트를 진행 하였습니다.KSETL (Kafka Stream ETL) ??KSETL은 Kafka 스트림 ETL(extract, transform, load)의 약자로 Kafka의 데이터를 추출하고 변환해서 적재하는 시스템이라는 의미입니다.LINE을 비롯한 여러 회사에서 채택되어 사용되고 있으며 다양한 레퍼런스를 가지고 있다는 장점이 있습니다. ( KSETL로 Kafka 스트림 ETL 시스..