DEV_희쨔응
Apache Flume(Kafka To Hadoop) 본문
Apache Flume은 오픈소스 프로젝트로 개발된 로그 데이터를 수집 기술이다. 여러 서버에서 생산된 대용량 로그 데이터를 효과적으로 수집하여 HDFS과 같은 원격 목적지에 데이터를 전송하는 기능을 제공한다.
구조가 단순하고 유연하여 다양한 유형의 Streaming Data Flow아키텍처를 구성할 수 있다.
현재 테스트 서버에 구축 완료 되었고 아래와 같이 테스트 완료 되었습니다.
Topic to Hadoop source/sink config
Flume 실행
Kafka Topic에 Data 전송
Kafka manager 를 이용하여 Source Topic의 Consumer Group id 확인 (Topic to Hadoop source/sink config 단계에서 지정해준 Consumer Group id 와 일치함)
Hadoop에 File 생성 여부 확인
'Kafka' 카테고리의 다른 글
| MariaDB to Elasticsearch (0) | 2023.01.30 |
|---|---|
| Apache Beam (1) | 2023.01.26 |
| Supervisor (0) | 2022.10.20 |
| PrestoDB to Kafka (0) | 2022.10.17 |
| Filebeat+Logstash를 통한 Nginx To Kafka (0) | 2022.10.06 |
'Kafka' Related Articles
more
Comments