가끔 보자, 하늘.

우선 Docker Desktop에서 Elasticsearch , Kibana 이미지를 찾아 실행합니다. 둘 모두 잘 실행되었다면 kibana로 접속합니다. http://localhost:5601로 접속하면 아래와 같은 화면이 뜹니다. docker 로 둘을 실행하면 서로 다른 네트웍으로 인식하고 elasticsearch에서는 kibana의 원격접속 인증을 위해 elasticsearch에서 발급한 토큰을 입력하라고 요청합니다. elasticsearch docker에 exec 탭에서 아래 커멘드를 입력해 토큰을 생성합니다. bin/elasticsearch-create-enrollment-token --scope kibana이렇게 발급된 코드값을 복사해 kibana 웹 페이지에서 입력합니다. 그럼 아래와 같은 ..

Elastic도 꾸준하네요. 저는 Data Platform에만 사용하고 있는데 VectorDB 이외의 어떤 기능들이 있고 AI에 어떻게 사용할 수 있는지 살펴봐야겠군요.+_+ https://www.elastic.co/kr/virtual-events/elasticon-ai

예들들어 data_type이 10001인 2023년 12월 25일 데이터를 모두 지우고 재구축하고 싶다면 kibana DevTools혹은 api를 이용해 다음과 같은 순서로 진행합니다. 1. 우선 count api를 이용해 삭제할 수량 확인 및 검증합니다. # index 파일을 날짜로 구분할 경우 한국은 +9 이므로 한국 시간 기준 0시부터 9시까지의 데이터는 logstash-2023.12.24에 포함됩니다. # 그러므로 logstash-2023.12.24에서도 동일한 쿼리를 실행해야 한국시간 기준으로 정확힌 데이터를 확인할 수 있습니다. GET /logstash-2023.12.25/_count { "query": { "bool": { "must": [ { "term": { "data_type": "10..

https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-datehistogram-aggregation.html Date histogram aggregation | Elasticsearch Guide [8.11] | Elastic Many time zones shift their clocks for daylight savings time. Buckets close to the moment when those changes happen can have slightly different sizes than you would expect from the calendar_interval or fixed_in..

메이저 버전이 업그레이드 되면서 몇 가지 변경사항은 있는 법! 하지만 한 눈에 꼭 확인해야 하는 내용이 보이지는 않을 수 있습니다. 그렇다고 정식 메뉴얼을 꼼꼼히 보는게 쉽지 않고. (저처럼 소기업에서 1인 담당인 경우는 특히...) 가끔은 요약본이 필요하니 정리해 둡니다. elasticsearch.yml 의 수정사항 node.master(or data 등) 은 node.roles로 대체 node.roles: [master, data, data_content, data_hot, data_warm, data_cold, data_frozen, transform, ml, ingest, remote_cluster_client] 이중 필요한 기능만 설정하세요. transport.tcp... 은 transport...

1. 재설치 wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - sudo sh -c 'echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" > /etc/apt/sources.list.d/elastic-7.x.list' sudo apt update && sudo apt -y upgrade sudo apt install apt-transport-https ca-certificates wget sudo apt install elasticsearch 2. 설정 (7.x에 대한 상세한 설정 참고 링크) > sudo vi /etc/elasticsear..

정리하던 내용이 싹 날아가서 그냥 요점만 빨리 다시 정리합니다. ㅠ_ㅜ 윈도우는 공식적으로 지원하지 않으며 WSL과 docker를 이용해 개발용으로 설치, 테스트 할 수 있습니다. (참고 링크) wsl git clone https://github.com/apache/superset.git cd superset docker compose up # 10개의 이미지 실행. docker-compose.yml 참고. 다양한 Data Source를 이용할 수 있는데, 각 database에 연결하려면 그에 맞는 driver를 설치해야 합니다. 설치 가능한 드라이버는 이 링크를 참고하세요. 윈도우에서는 docker를 이용해 superset을 가동하므로 드라이버들를 그냥 로컬에 설치하는게 아니고 docker 에 통합해야..

최신 버전 테스트 할 일이 있어서 windows 11에서 Elasticsearch, Kibana 를 Docker에서 테스트하면서 정리했습니다. 우선 Docket Desktop을 설치합니다. 그리고 docker image에서 Elasticsearch를 검색해 공식 이미지를 내려받습니다. 저는 es 8.10.1 버전을 다운 받았습니다. 현재 공식 이미지의 OS는 ubuntu 20.04 버전이며, max_map_count를 같이 수정해야 합니다. 원래 linux 시스템에서는 sysctl 이나 /etc/sysctl.conf에서 수정하면 되는데 windows 에서 docket desktop으로 실행할 때는 wslconfig 파일을 만들어서 설정해두는게 좋습니다. 설정하지 않고 도커 이미지를 실행하면 "max vi..