DEV_희쨔응

데모 시나리오 개요 해당 시나리오는 Kafka Topic 에 적재 되어 있는 Data를 Consume 하여 HDFS 에 ORC 확장 자로 적재 하는 데모 시나리오 입니다. Apache Flume 이란 Apache Flume은 오픈소스 프로젝트로 개발된 로그 데이터를 수집 기술 입니다. 여러 서버에서 생산된 대용량 로그 데이터를 효과적으로 수집하여 HDFS과 같은 원격 목적지에 데이터를 전송하는 기능을 제공 합니다. 구조가 단순하고 유연하여 다양한 유형의 Streaming Data Flow아키텍처를 구성할 수 있습니다. Flume 구축 메뉴얼 #설치 경로 접속 $ cd /usr/local/ #플룸 설치 $ wget #압축풀기 $ tar -xvf apache-flume-1.10.1-bin.tar.gz #심볼..

Apache Flume은 오픈소스 프로젝트로 개발된 로그 데이터를 수집 기술이다. 여러 서버에서 생산된 대용량 로그 데이터를 효과적으로 수집하여 HDFS과 같은 원격 목적지에 데이터를 전송하는 기능을 제공한다. 구조가 단순하고 유연하여 다양한 유형의 Streaming Data Flow아키텍처를 구성할 수 있다. 현재 테스트 서버에 구축 완료 되었고 아래와 같이 테스트 완료 되었습니다. Flume 버전 확인 Hdfs Flume 싱크 소스 Flume 실행 Source 디렉터리에 파일생성 파일 생성 확인 및 Data 확인 Hadoop 파일 생성 확인 및 Data 확인