가끔 보자, 하늘.

쉽다길래 별 생각 안했는데.. 설정할게 많네 -_- ERROR. max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]ERROR. memory locking requested for elasticsearch process but memory is not locked 위 두 에러가 발생하면 아래 내용을 참고하여 수정하면 된다. 클러스터를 구성하기 위해서는 리소스 사용에 대한 제한을 풀어줘야 한다. 아래 command로 현재 리소스 제한 사항을 볼 수 있으며, ulimit -Sa vi /etc/security/limits.conf 로 들어가서 아래와 같이 설정한다. es-user hard mem..

ES에서 제공하는 결과물은 대부분 멋지지만 가끔 odbc의 기능들이 필요한 경우가 있다. (X-pack을 사용하면 sql like query가 가능하지만 비용이 ..) kibana 등에서는 결과를 실시간 쿼리를 통해 보기 때문에 반응성이 항상 아쉽다. 이런 저런 이유로 리포트용 솔루션을 별도 구축하게 되었다. 만드는 김에, 일부 sql query가 필요한 경우를 위해, 필요한 로그들을 ES로 보냈다가 가져오기는 추가적인 절차가 필요해서, logstash에서 ES로 보내면서 필요한 일부분만 바로 mysql에 직접 보내기로 했다. 플러그인을 만들어야 하나 찾아보니... https://www.elastic.co/guide/en/logstash/current/input-plugins.html >> input에는..

'logstash-' 날짜 형태로 인덱스를 자동 생성하는데, 여러 타이틀 혹은 용도 별로 분리하려면 수정이 필수적임. 만약 새롭게 생성하는 상황이라면, 원하는 곳에 pipelines에 적용할 config 파일을 하나 만들자. ( https://www.elastic.co/guide/en/logstash/current/advanced-pipeline.html 참고) 만약 이미 만들어 두었다면 config/pipelines.yml을 열어 pipeline.id의 path.config를 확인해보자. 이제 기본적인 pipeline config를 구성했다면 원하는 조건과 이름을 활용해 인덱스를 수정해보자. 만약 logstash에서 elasticsearch로 바로 보낸다면 output 부분이 아래와 같을 것이다. ou..

tar 파일 가져와서 설치했더니 데몬으로 가동이 안되는 상태. rpm으로 다시 설치할까 그냥 systemd에 등록함. elasticsearch , kibana 모두 6.3 버전 사용. /etc/systemd/system/kibana.service 파일을 만들어 아래 내용을 삽입. [Unit]Description=Kibana 6.3 [Service]Type=simpleUser=rootEnvironment=CONFIG_PATH=/your kibana path/config/kibana.ymlEnvironment=NODE_ENV=productionExecStart=/your kibana path/node/bin/node /your kibana path/src/cli [Install]WantedBy=multi-u..

CentOS에 Elasticsearch를 설치해 보았다. 정리할 생각이 없었는데, 하다보니 중간에 막히는 것들이 처리하면서 정리 한번 해둬야겠단 생각이 들었다. 일단 처음 설치할 때 주의할 점은 Elasticsearch는 root 계정으로 실행할 수 없다. (실행 가능하게 하는 옵션이 있던데, 최신 버전에서는 안되는 듯. 그리고 보안의 측면에서도 당연히 좋지 않아 추천하지 않는다.) 그러므로 전용 계정을 설정해서 설치, 실행하자. 설치 환경 및 각종 버전은 아래와 같다. CentOS 7.5.x Elasticsearch 6.3.0 (https://www.elastic.co/downloads/elasticsearch) plugin, Elastic-HQ (https://github.com/ElasticHQ/e..

공식 사이트는 이 곳!!http://jsoncpp.sourceforge.net/ >> 현재는 github로 링크가 이동된다. 최근 코드는 많이 달라져 있어서 최근 코드 사용에 대해서는 추후 다시 한번 정리할 예정이다. 이번은 예전에 사용하던 코드를 활용하여 ( 파일 >> 일단 설치는 그냥 압축을 풀어 프로젝트에 적용하면 끝!! (h와 cpp 파일 각 하나씩만 존재한다.) 사용법은 아래와 같다. - 읽기 json 파일의 내용을 어딘가에서 읽어왔다면 Json::Reader를 사용하여 파싱하여야 한다. std::string data;