DEV_희쨔응

API 데이터를 Logstash의 http_poller 플러그인을 사용하여 수집하고 Kafka Topic에 적재 후 해당 Topic을 Logstash로 Consume 하여 Postgresql에 적재 하였습니다. Logstash 소스 예제 (API to Kafka) input { http_poller { urls => { url => "https://jsonplaceholder.typicode.com/albums" } request_timeout => "60" schedule => { cron => "* * * * * UTC"} codec => "json" } } output { kafka { codec => "json" topic_id => "api-test2" bootstrap_servers => "i..

현재 테스트 서버에 아래와 같이 개발/테스트 완료 하였습니다. Naver Open API를 사용하여 네이버 뉴스의 RockPlace 관련 기사를 Logstash로 Web crawling 해준 후 Elastic Index에 적재 합니다 그 후 Kibana 에서 Index pattern을 등록해 주고 대시보드 개발을 통해 Data를 원하는 형식으로 표출 합니다. Logstash Source input { http_poller { urls => { naver => { method => get url => "https://openapi.naver.com/v1/search/news.json?query=원하는 검색 항목" headers => { "X-Naver-Client-Id" => "네이버 오픈 api 계정" ..

서버의 데이터 처리 파이프라인인 오픈 소스 Logstash는 다양한 소스에서 데이터를 수집하여 변환한 후 자주 사용하는 저장소로 전달합니다. Logstash는 형식이나 복잡성과 관계 없이 데이터를 동적으로 수집, 전환, 전송합니다. grok을 이용해 비구조적 데이터에서 구조를 도출하여 IP 주소에서 위치 정보 좌표를 해독하고, 민감한 필드를 익명화하거나 제외시키며, 전반적인 처리를 손쉽게 해줍니다. 현재 개발 서버에 구축 되어있으며 아래와 같은 구성으로 데모구성 되어있습니다. Kafdrop을 이용하여 Topic Data 확인 Logstash 실행 Filebeat 실행 Elasticsearch index Data 조회(kibana)