DEV_희쨔응

PrestoDB KafkaConnector는 kafka Topic의 Data를 테이블 형식으로 정형화 하여 SQL쿼리로 Topic의 Data를 조회 할수 있게 하고 JDBC를 제공 하여 Produser/Consumer API개발에 편의성을 제공합니다. Kafdrop 으로 Kafka Topic Data 조회 PrestoDB catalog에 kafka 프로퍼티 추가 /presto-server-0.273.3/etc/catalog/kafka.properties #커넥터 종류 connector.name=kafka #kafka 브로커 서버 정보 kafka.nodes=ip:9092,ip:9092,ip:9092 #정형화할 Topic name kafka.table-names=tpch.customer,tpch.orders..

개발서버에 PrestoDB를 구축했습니다. PrestoDB는 RDBMS의 쿼리 및 ksql, elasticsearch쿼리(dsql)를 통합해주는 오픈소스입니다. 현재 Oracle, PostgreSQL과 Elasticsearch에 있는 데이터를 조회하는 TEST를 진행하였습니다. presto는 자체적으로 jdbc를 제공 하여 하나의 jdbc 연동으로 다양한 DBMS에 접근 할 수 있는 개발 환경을 제공 하며 통합된 쿼리로 다양한 DBMS에서 Data 추출이 가능합니다. ▼ Oracle, PostgreSQL 테이블에 적재된 데이터를 Presto 표준 쿼리로 조회 ▼ Elasticsearch 인덱스에 적재된 데이터를 Presto 표준 쿼리로 조회 (Json 형식으로 적재된 데이터가 테이블 형식으로 조회됨) D..