목록전체 글 (61)
DEV_희쨔응
개요Kafka 를 통한 다양한 작업들이 늘어남에 따라 Topic에 적재되는 실시간성 Data를 조건에 맞게 변환 및 가공 하기 위한 방안을 생각 하던 중 과거 KSQL 과 Schema Registry 통해 해당 형식의 작업을 처리 했었던 경험을 바탕으로 현재 사용중인 BETA Kafka 에서 해당 환경을 구축 후 간단한 테스트를 진행 하였습니다.KSETL (Kafka Stream ETL) ??KSETL은 Kafka 스트림 ETL(extract, transform, load)의 약자로 Kafka의 데이터를 추출하고 변환해서 적재하는 시스템이라는 의미입니다.LINE을 비롯한 여러 회사에서 채택되어 사용되고 있으며 다양한 레퍼런스를 가지고 있다는 장점이 있습니다. ( KSETL로 Kafka 스트림 ETL 시스..
stt사용 패키지: speech_recognition pipeLine 흐름: wav 녹취 파일→ kafka → pyspark → NLP(키워드) →TargetDB 시나리오 개요: 컬투쇼 사연 녹음 파일(wav 확장자)를 speech_recognition패키지를 사용하여 text로 변환 후 kafka topic에 data 적재 및 nlp 엔진을 사용하여 키워드 추출 후 target db에 적재 하는 시나리오 입니다. stt kafka producer 코드 import json from pyspark.sql import SparkSession import speech_recognition as sr from kafka import KafkaProducer import os def transcribe_audi..
해당 구성도는 Kafka source connector가 PK 컬럼기준으로 Source 테이블의 변경을 감지하여 실시간으로 Kafka Topic에 데이터를 적재 합니다 그후 Ksql를 통해 데이터 전처리 및 클렌징 작업을 진행후 Pyspark kafkastream 을 통해 Topic의 Data를 consume 한 후 NLP API 서버에 전송 후 반환된 학습 데이터를 TargetDB에 적재하는 PipeLine 데모 시나리오 입니다. 해당 시나리오에서 사용한 NLP는 감성분석,키워드분석,연관어분석,키센텐스 분석,비속어 분석,문장요약 등이 사용 되었습니다. Kafka Source Connector { "name": "test", "config": { "connector.class": "io.confluent..
시나리오 구성도 먼저 Python API가 인프라 통계 정보 추출을 위한 인증 Token값을 요청 한 후 발급 받은 Token값을 http requests 에 포함 시켜 전송 후 통계 데이터를 추출 및 Kafka A Topic에 json형식으로 적재 합니다. 해당 작업은 Airflow를 통해 UI/UX 환경에서 관리 되며 배치 성 작업으로 등록 되어 구동 합니다. 이 후 A Topic에 적재된 데이터는 KSQL을 통하여 Stream Table을 생성 한 후 B Topic에 데이터를 적재 하고 해당 B Topic을 Postgre Sink Connector 가 컨슘 하여 Target DB에 해당 데이터를 적재 합니다. Airflow DAG 등록 from datetime import date, timedelt..