가끔 보자, 하늘.

[root@lnk635 ~]# ssh 'root'@'172.xx.xx.xx' @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY! Someone could be eavesdropping on you right now (man-in-the-middle attack)! It is also possible that a host key has just been ch..

기존에 사용하던 ELK 6.3을 7.1.1 버전으로 업그레이드하며 그 사이 발생했던 문제들을 정리해 보았습니다. 참고로 모두 수동 설치되어 있는 상태입니다. 1. 설치 및 사용 환경 2. 신규 장비 세팅하기 3. 신규 장비에 ES 설치하기 (ver 6.3) 4. Rolling 업그레이드 시작 - 6.3에서 6.8로 5. Rolling 업그레이드 시작 - 6.8에서 7.1.1로 6. Kibana, Logstash 업그레이드 [1. 설치 및 사용 환경 ] 현재 ELK를 사내 시스템에 설치하여 사용중에 있습니다. 돈이 많으면 그냥 편하게 Cloud 서비스를 사용하고 싶은 마음은 간절했으나 사정상 외부에서 서비스하는 시스템들이 보내는 raw data를 모두 가져와 사내의 ES에 밀어 넣고 있습니다. 운영비용도 ..

It may not be safe to bootstrap the cluster from this node. It was not the last one to leave th..mariadb 테스트 중에 위와 같은 오류가 나서 찾아봤다. 3대에 galera 설정해서 클러스터 구성하여 사용 중이었다. centos7 mariadb 10 사용 중. 다른 서버들은 모두 정상 가동 중이었고, 한 대만 문제가 발생한 상태. netstat -na | grep 3306으로 포트를 확인하니 죽어있고 systemctl start mariadb로 재가동이 안되어 systemctl status mariadb.service로 확인하니 위와 같은 에러가 발생한 상태. 설치된 폴더 (/var/lib/mysql)로 가서 galera.c..

mariadb와 galera를 사용하여 클러스터 구성하는데 두 번째 node부터 실행이 안되서 찾아보니 포트가 다 안열린 것! http://galeracluster.com/documentation-webpages/firewallsettings.html 3306 : mysql client connections 을 위한 포트4567 : UDP와 TCP 둘 다 사용하는 Galera Cluster 복제 트래픽, 다중 복제를 위한 포트4568 : Incremental State Transfer(변경된 상태 전송) 를 위한 포트4444 : State Snapshot Transfer(전체 상태 전송) 를 위한 포트 Donor (제공자) : 원래 데이터를 가진 기준 노드Joiner (가입자) : Donor로부터 데이터..

며칠 전 데이타 손실이 발생하여 내용을 공유하기 위해 기록합니다. 일단 구축한 시스템은 사내에 ES로 시스템을 구축해두고, 각 컨텐츠 별로 REST API 서버 + Redis로 중간 저장소를 만들어 둔 상태입니다. 그리고 사내의 세팅된 Logstash에서 방화벽이 열리는 시간에 컨텐츠 별 중간 저장소로 접속해 그동안 쌓여있는 로그를 가져오도록 되어 있습니다. 이렇게 세팅된 이유는 Node 별 초기/유지 비용을 줄이고 (사내에서 PC로 시스템을 구축해 둠. 서버와 비슷한 성능의 시스템을 저렴하게 구축할 수 있으며, IDC의 상면비 등을 절감할 수 있기 때문입니다. 문제 발생 시 접근성도 용이합니다.), 운영자들의 접근 속도도 높이기 위함입니다. ES외에도 리포트 사이트를 구축하여 Kibana로는 결과를 만..

CentOS 기준.. 매번 사용하지 않는 것들이라 기록해둔다. OS 버전 확인cat /etc/redhat-release(el7 ~) or cat /etc/issue(~el6) 커널 버전 확인cat /proc/version Kernel bits 확인getconf WORD_BIT cpu 정보 확인 cat /proc/cpuinfo실 CPU 수 : grep ^processor /proc/cpuinfo | wc -lCPU당 코어 수 : grep 'cpu cores' /proc/cpuinfo | tail -1 메모리 cat /proc/meminfo 디스크 용량 확인 df -h

쉽다길래 별 생각 안했는데.. 설정할게 많네 -_- ERROR. max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]ERROR. memory locking requested for elasticsearch process but memory is not locked 위 두 에러가 발생하면 아래 내용을 참고하여 수정하면 된다. 클러스터를 구성하기 위해서는 리소스 사용에 대한 제한을 풀어줘야 한다. 아래 command로 현재 리소스 제한 사항을 볼 수 있으며, ulimit -Sa vi /etc/security/limits.conf 로 들어가서 아래와 같이 설정한다. es-user hard mem..

ES에서 제공하는 결과물은 대부분 멋지지만 가끔 odbc의 기능들이 필요한 경우가 있다. (X-pack을 사용하면 sql like query가 가능하지만 비용이 ..) kibana 등에서는 결과를 실시간 쿼리를 통해 보기 때문에 반응성이 항상 아쉽다. 이런 저런 이유로 리포트용 솔루션을 별도 구축하게 되었다. 만드는 김에, 일부 sql query가 필요한 경우를 위해, 필요한 로그들을 ES로 보냈다가 가져오기는 추가적인 절차가 필요해서, logstash에서 ES로 보내면서 필요한 일부분만 바로 mysql에 직접 보내기로 했다. 플러그인을 만들어야 하나 찾아보니... https://www.elastic.co/guide/en/logstash/current/input-plugins.html >> input에는..