가끔 보자, 하늘.

일반적으로 linux에서 logstash를 운영하지만 테스트를 위해 windows에서 실행해 봤습니다. AWS 계정 설정 c:\users\사용하는계정\.aws에 config , credentials 파일을 생성합니다. config파일에는 아래와 같이 default resion을 설정합니다. [default] region = ap-northeast-2 credentials 파일에는 kinesis에 접근 가능한 인증정보를 삽입합니다. [default] aws_access_key_id = access_key_id_from_iam_account aws_secret_access_key = access_key_id_from_iam_account kinesis 플러그인 설치 logstash 플러그인 툴로 아래와 같이..

최근 시스템 확장을 위해 Elasticsearch의 최신 버전을 설치하면서 정리한 글입니다. 이전에 정리했던 6.x 버전 설치기, cluster 설정을 보면서 설치중에 불필요한 내용 정리하고 합칠 내용 합쳐서 최신 내용으로 다시 업데이트 하려 정리합니다. 6.x 버전에서는 Java 8을 별도 설치해야 했지만 7.x 버전에서는 OpenJDK가 포함되어 있어 별도 설치할 필요는 없습니다. 이 글은 CentOS 7.9.2009 (Core) release, 그리고 Elasticsearch 7.10.1 버전을 기준으로 작성되었습니다. (곧 7.11이 나올 예정인가보네요. 8.x로 넘어가기 전 마지막 버전일 줄 알았는데... -0-a ) 일단 해당 서버로 elasticsearch-7.10.1-linux-x86_64..

쉽다길래 별 생각 안했는데.. 설정할게 많네 -_- ERROR. max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]ERROR. memory locking requested for elasticsearch process but memory is not locked 위 두 에러가 발생하면 아래 내용을 참고하여 수정하면 된다. 클러스터를 구성하기 위해서는 리소스 사용에 대한 제한을 풀어줘야 한다. 아래 command로 현재 리소스 제한 사항을 볼 수 있으며, ulimit -Sa vi /etc/security/limits.conf 로 들어가서 아래와 같이 설정한다. es-user hard mem..