elasticsearch
-
Linux에 Jupyter Notebook 설치하기개발 이야기/DB, 데이터분석, AI 2021. 11. 19. 17:58
이 글에서는 Jupyter notebook 은 CentOS7에 설치하고 사용자들은 Windows로 접근한다고 가정하겠습니다. 그리고 elasticsearch, MariaDB(or MySQL) 에 연결하여 데이터를 검색하는 것까지 확인해 보겠습니다. 1. CentOS에 Jupyter notebook 설치하기 2. Windows에서 접속하기 3. Elasticsearch, MariaDB 연결하기 +a. 그래프 그려보기 1. CentOS에 Jupyter notebook 설치하기 Anaconda는 파이썬에서 다양한 가상환경을 쉽게 구축할 수 있으며, 머신러이, 데이터 분석 등에 필요한 패키지들을 포함하고 있는 파이썬 배포판입니다. 우선 Anaconda를 설치합니다. > wget https://repo.anaco..
-
Elasticsearch daily snapshot 예제 코드개발 이야기/개발 및 서비스 2021. 6. 29. 10:55
https://github.com/blackwitch/elasticsearch-shapshot-daily blackwitch/elasticsearch-shapshot-daily Contribute to blackwitch/elasticsearch-shapshot-daily development by creating an account on GitHub. github.com 매일 어제 생성된 인덱스를 백업하는 샘플 코드입니다. 100 line 이내의 코드가 설명할 내용은 길지 않습니다. elasticsearchjs의 문제인지 아닌지 아직 알 수 없으나 생성 후 인덱스 중복 에러가 발생하나 스냅샷은 정상적으로 생성됩니다. 에러 내용은 아래와 같습니다. { "error":{ "root_cause":[{ "ty..
-
Elasticsearch snapshot - AWS S3 에러개발 이야기/인프라 구축 및 운영 2021. 6. 17. 11:16
신규 노드를 추가하면서 elasticsearch에 repository-s3 plug-in 설치 하는걸 잊어 버렸더니 아래와 같은 에러가 발생하기 시작했습니다. { "snapshot" : { "snapshot" : "snapshot_name", "uuid" : "vQeYKiYaTaq0rOiGXbjQEQ", "version_id" : 7110099, "version" : "7.11.0", "indices" : [ "my_index" ], "data_streams" : [ ], "include_global_state" : true, "state" : "PARTIAL", "start_time" : "2021-06-09T05:57:10.373Z", "start_time_in_millis" : 16232182303..
-
Metricbeat 설치 및 Kibana 연동개발 이야기/인프라 구축 및 운영 2021. 5. 27. 12:20
8 버전부터는 Kibana의 Stack Monitoring이 기존 방식으로 지원하지 않는다고 메세지가 떠서 Metricbeat를 설치해 Monitoring 설정을 진행했습니다. Self-managed(On premise)로 운영중인 세 대(172.31.1.10 ~ 12)의 Elasticsearch의 모니터링을 위해 별도 시스템 혹은 기존 시스템에 metricbeat를 설치하여 모니터링 한다고 가정합니다. 그리고 시스템 로그는 추가하지 않게 설정해 보겠습니다. Metricbeat는 실행을 위해 root 권한이 필요합니다. 1. 설치 > curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.11.0-linux-x86_6..
-
elasticsearch-js로 인데스가 존재하는지 확인하는 방법개발 이야기/개발 및 서비스 2021. 5. 18. 12:51
nodejs에서 elasticsearch-js를 이용해 데이터 분석, 취합을 할 때, 잘못된 인덱스 이름, 혹은 존재하지 않는 인덱스 이름으로 인해 문제가 발생하는 경우가 있습니다. 이 경우 검색이 중단되고 404 에러가 발생하며 중단됩니다. 에러를 막기위해 검색 시 아래 예제와 같이 ignore키워드를 지정할 수 있습니다. const result = await client.search({ index: 'my-index', from: 20, size: 10, body: { foo: 'bar' } }, { ignore: [404], maxRetries: 3 }) 이 방법은 에러를 막을 수 있지만, 검색이 중단되는 것은 동일합니다. 예를들어 ['seoul', 'busan', 'jeju']라는 인덱스들에서 어..
-
linux 환경 변수 세팅하는 방법개발 이야기/인프라 구축 및 운영 2021. 5. 17. 11:45
주로 윈도우나 맥을 사용하다보니 환경 변수 세팅하는데 별로 신경을 안썼는데 리눅스에서는 거의 사용해 본 적이 없어 이번에 정리를 해봤습니다. elasticsearch node를 재가동 할 일이 있었는데 시스템 재기동 후 jdk 폴더를 못 찾는 경우가 발생했습니다. openjdk를 포함했고 설치하면서 초기 설치 시 세팅이 되는 것으로 아는데... 의아했지만 모두들 ES 정상화를 기다리고 있어 일단 바로 세팅하기로 했습니다. elasticsearch(7.x 이상)에 포함된 jdk는 elasticsearch폴더안에 jdk 폴더에 포함되어 있습니다. /etc/profile 에 환경 변수를 세팅할 수 있으며 jdk 폴더 경로를 아래와 같이 추가했습니다. > vi /etc/profile . . . export JA..
-
윈도우 Logstash 에서 Kinesis 연동하기개발 이야기/인프라 구축 및 운영 2021. 3. 31. 17:57
일반적으로 linux에서 logstash를 운영하지만 테스트를 위해 windows에서 실행해 봤습니다. AWS 계정 설정 c:\users\사용하는계정\.aws에 config , credentials 파일을 생성합니다. config파일에는 아래와 같이 default resion을 설정합니다. [default] region = ap-northeast-2 credentials 파일에는 kinesis에 접근 가능한 인증정보를 삽입합니다. [default] aws_access_key_id = access_key_id_from_iam_account aws_secret_access_key = access_key_id_from_iam_account kinesis 플러그인 설치 logstash 플러그인 툴로 아래와 같이..
-
S3에 스냅샷 생성 및 복원개발 이야기/DB, 데이터분석, AI 2021. 2. 22. 18:13
Elasticsearch 7.11.0 On Premise 환경에서 AWS S3 에 스냅샷을 생성하는 내용을 정리해 보았습니다. Cloud 환경에서는 조금 다를 수 있으니 참고하세요. 아래 내용은 www.elastic.co/guide/en/elasticsearch/plugins/7.11/repository-s3.html#repository-s3-install의 내용을 참고해서 정리했습니다. 이해를 돕기 위해 이미지가 많이 첨부된 관계로 서술형 문체보다는 간략히 요점만 정리했습니다. 아래와 같은 순서로 정리되어 있습니다. 1. AWS S3 플러그인 설치 2. AWS S3에 스냅샷 저장소 생성 3. Kibana에 AWS S3 저장소 등록 4. 스냅샷 생성/복구하기 5. 검색 가능한 스냅샷 설정 1. AWS S..