반응형

pipeline 2

Logstash sqs plugin 설정

(ELK 7.2 버전에서 테스트 되었습니다.) 이미 logstash와 elasticsearch가 설치되어 있다고 가정하고 진행하겠습니다. 7.x에 적용된 SQS plugin 3.x 버전은 logstash 5.0부터 적용되었으니 5.0 미만 버전 사용자분은 공식 문서를 참고하시기 바랍니다. https://www.elastic.co/guide/en/logstash/current/plugins-inputs-sqs.html Sqs input plugin | Logstash Reference [7.5] | Elastic Plugin version: v3.1.2 Released on: 2018-11-12 Changelog For other versions, see the Versioned plugin docs. F..

logstash와 mysql 연동

ES에서 제공하는 결과물은 대부분 멋지지만 가끔 odbc의 기능들이 필요한 경우가 있다. (X-pack을 사용하면 sql like query가 가능하지만 비용이 ..) kibana 등에서는 결과를 실시간 쿼리를 통해 보기 때문에 반응성이 항상 아쉽다. 이런 저런 이유로 리포트용 솔루션을 별도 구축하게 되었다. 만드는 김에, 일부 sql query가 필요한 경우를 위해, 필요한 로그들을 ES로 보냈다가 가져오기는 추가적인 절차가 필요해서, logstash에서 ES로 보내면서 필요한 일부분만 바로 mysql에 직접 보내기로 했다. 플러그인을 만들어야 하나 찾아보니... https://www.elastic.co/guide/en/logstash/current/input-plugins.html >> input에는..

반응형