DEV_희쨔응

해당 구성도는 Kafka source connector가 PK 컬럼기준으로 Source 테이블의 변경을 감지하여 실시간으로 Kafka Topic에 데이터를 적재 합니다 그후 Ksql를 통해 데이터 전처리 및 클렌징 작업을 진행후 Pyspark kafkastream 을 통해 Topic의 Data를 consume 한 후 NLP API 서버에 전송 후 반환된 학습 데이터를 TargetDB에 적재하는 PipeLine 데모 시나리오 입니다. 해당 시나리오에서 사용한 NLP는 감성분석,키워드분석,연관어분석,키센텐스 분석,비속어 분석,문장요약 등이 사용 되었습니다. Kafka Source Connector { "name": "test", "config": { "connector.class": "io.confluent..

Kafka Broker (Bootstrap Server) Kafka Broker는 Partition에 대한 Read 및 Write를 관리하는 소프트웨어 Kafka Server라고 부르기도 함 Topic 내의 Partition 들을 분산, 유지 및 관리 각각의 Broker들은 ID로 식별됨 (단, ID는 숫자) 최소 3대 이상의 Broker를 하나의 Cluster로 구성해야 함 (4대 이상을 권장함) Zookeeper Broker를 관리 (Broker 들의 목록/설정을 관리)하는 소프트웨어 Zookeeper는 홀수의 서버로 작동하게 설계되어 있음 (최소 3, 권장 5) Zookeeper에는 Leader(writes)가 있고 나머지 서버는 Follower(reads) Topic Kafka 안에서 메시지가 저..