목록Shards (1)

가끔 보자, 하늘.

Elasticsearch 저장 용량 이슈

운영하는 인프라 중 elasticsearch가 있다. 심지어 버전은 7.11. 5개 node를 운영하고 있으며, 일 데이터가 7GB 정도 누적된다. 오래된 데이터를 자동으로 S3로 백업되면서 용량 이슈도 거의 없어 최근에 2년 정도는 손 댄 기억이 거의 없었다. (* 최근 여러 서비스의 data pipeline을 통합하려고 aws glue, athena, quicksight로 통합하려고 보고 있는데 가성비가 es를 따라가기는 어려울 것으로 판단된다. 이거 다음에 이야기할 기회가 있을 듯 하고.. 어쨌든 PB 운영 용량이 아니면 거의 문제없을 정도로 뛰어난 제품이다.) node 중 하나가 갑자가 샤드 할당에 문제가 발생한 듯 보였다. 현상은 아래와 같았다. Kibana에서 확인하니 Status 이미 yel..
개발 이야기/DB, 데이터분석, AI 2023. 8. 16. 17:22
이전 Prev 1 Next 다음