DEV_희쨔응

Nginx란 트래픽이 많은 웹사이트의 서버(WAS)를 도와주는 비동기 이벤트 기반구조의 경량화 웹 서버 프로그램입니다. 클라이언트로부터 요청을 받았을 때 요청에 맞는 정적 파일을 응답해주는 HTTP Web Server로 활용되기도 하고, 또는 Reverse Proxy Server로 활용하여 WAS의 부하를 줄일 수 있는 로드밸런서 역할을 하기도 합니다. 현재 개발 서버에 구축이 되어 있고 아래와 같은 시나리오로 테스트 완료 되었습니다. Nginx의 LogData를 Filebeat로 수집하여 Logstash로 전송하고 Logstash의 강력한 filter기능으로 데이터를 원하는 형태로 변환하여 Kafka Topic에 적재하는 ETL Pipeline 데모 입니다. Nginx 구동 확인 Logstash 구동 ..

Kafka bridge는 HTTP 기반 클라이언트가 카프카 클러스터와 상호 작용할 수 있도록 만들어진 Tool입니다. 현재 개발서버에 구축과 테스트가 완료된 상태입니다. Kafka bridge 구성도 Kafka bridge 구동화면 Kafka bridge에 Post 로 Topic에 Data 전송 Kafdrop으로 Topic Data확인

Apache Nifi는 시스템 간 데이터 전달을 효율적으로 처리, 관리, 모니터링 하기에 최적화 된 시스템 입니다. 특징으로 Dataflow를 쉽게 구성이 가능하며, 시스템 간의 데이터 이동과 내용을 볼 수 있는 UI를 제공 합니다. 현재 Test Server에 구축이 되어있고 Kafka TO ElasticSearch 데모 환경이 구성 되어 있습니다. Nifi 구동화면 Kafka to Elastic

Apache Digdag는 복잡한 작업 파이프라인을 구축, 실행, 예약 및 모니터링하는 데 도움이 되는 간단한 도구로 태스크가 순서대로 또는 병렬로 실행되도록 종속성 해결을 처리합니다. 해당 서비스를 개발 서버에 구축/테스트 를 진행 하였습니다. 테스트 방식은 Kafka Producer를 쉘스크립트로 실행시키는 방식으로 진행했고 해당 쉘을 Digdag에 Workflow로 등록 하였습니다. Digdag 구동 화면 Digdag에 스케쥴링이 되어 등록 된 Workflow Kafdrop을 통해 Topic에 Data확인