일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
31 |
- Ai
- ChatGPT
- s3
- API
- unity
- 영어
- Linux
- AWS
- docker
- nodejs
- 유니티
- 설정
- error
- sample
- 연동
- Python
- ssh
- JavaScript
- SSL
- Windows
- Kibana
- build
- MySQL
- logstash
- JS
- MSSQL
- 구글
- mariadb
- elasticsearch
- Today
- Total
목록전체 글 (316)
가끔 보자, 하늘.
Cognito 유저가 비공개 S3로 접근하려고 할 때... https://docs.aws.amazon.com/ko_kr/IAM/latest/UserGuide/reference_policies_examples_s3_cognito-bucket.html=> 이 문서 중 sample rule script에서 Principal 관련된 코드가 빠져 있다. 실제 이 룰을 적용하려면 principal 에러가 발생한다. 문서 내용에는 언급되어 있지 않았다.
다음과 같은 순서로 작성되어 있습니다. 1. 개요 2. 준비 3. 쿼리 알아보기 4. nodejs와 통합 5. chart로 표현하기 1. 개요 최근 회사에 Elasticsearch(이하 ES)로 통계 시스템을 구축했습니다. Mysql MyISAM 엔진으로 구축하던 것과 비교해보면 엄청나게 편리해졌네요. Kibana로 쿼리하고 결과를 손쉽게 출력하여 담당자가 아닌 컨텐츠 개발자도 자신이 보고 싶은 결과를 바로 추가하여 볼 수 있을 정도니, 작은 개발사에는 이보다 더 좋은 솔루션이 있을까 싶네요. 그런데 ES에서 나온 다른 두 결과의 비교가 필요한 경우 불가능한 경우가 있어서 조금 아쉽더군요. 그래서 이를 직접 만들어 보기로 했습니다. 시간을 기준으로 데이터를 비교하는 경우는 timelion을 사용하면 되나..
간혹 테스트를 하거나 잘못 보내진 문서만 골라서 지워야 하는 경우가 있다. kibana dev tools에서 _delete_by_query를 사용하여 손쉽게 처리할 수 있다. (앞으로도 간혹 생각나는 것들이 있거나 기록하고 싶으면 아래 내용을 추가할 예정!!) >> 특정 범위의 로그를 지울 경우POST logstash-rs1_lnk_kr-*/_delete_by_query{ "query": { "range" : { "item_name_you_want_to_delete": { "lt" : "value_you_find_out" // lt= less than, gt=greater than, eq=equal } } }}
CentOS 기준.. 매번 사용하지 않는 것들이라 기록해둔다. OS 버전 확인cat /etc/redhat-release(el7 ~) or cat /etc/issue(~el6) 커널 버전 확인cat /proc/version Kernel bits 확인getconf WORD_BIT cpu 정보 확인 cat /proc/cpuinfo실 CPU 수 : grep ^processor /proc/cpuinfo | wc -lCPU당 코어 수 : grep 'cpu cores' /proc/cpuinfo | tail -1 메모리 cat /proc/meminfo 디스크 용량 확인 df -h
javascript로 aws cognito 연동 할 때, app 설정에서 "클라이언트 보안키 생성" 옵션을 해제해야 한다. https://github.com/aws-amplify/amplify-js/tree/master/packages/amazon-cognito-identity-js "When creating the App, the generate client secret box must be unchecked because the JavaScript SDK doesn't support apps that have a client secret." 클라이언트 보안 옵션은 기본으로 체크 되어 있어서 생각없이 넘어 갔는데, 켜져 있으면 "Unable to verify secret hash for client ...
쉽다길래 별 생각 안했는데.. 설정할게 많네 -_- ERROR. max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]ERROR. memory locking requested for elasticsearch process but memory is not locked 위 두 에러가 발생하면 아래 내용을 참고하여 수정하면 된다. 클러스터를 구성하기 위해서는 리소스 사용에 대한 제한을 풀어줘야 한다. 아래 command로 현재 리소스 제한 사항을 볼 수 있으며, ulimit -Sa vi /etc/security/limits.conf 로 들어가서 아래와 같이 설정한다. es-user hard mem..
ES에서 제공하는 결과물은 대부분 멋지지만 가끔 odbc의 기능들이 필요한 경우가 있다. (X-pack을 사용하면 sql like query가 가능하지만 비용이 ..) kibana 등에서는 결과를 실시간 쿼리를 통해 보기 때문에 반응성이 항상 아쉽다. 이런 저런 이유로 리포트용 솔루션을 별도 구축하게 되었다. 만드는 김에, 일부 sql query가 필요한 경우를 위해, 필요한 로그들을 ES로 보냈다가 가져오기는 추가적인 절차가 필요해서, logstash에서 ES로 보내면서 필요한 일부분만 바로 mysql에 직접 보내기로 했다. 플러그인을 만들어야 하나 찾아보니... https://www.elastic.co/guide/en/logstash/current/input-plugins.html >> input에는..
'logstash-' 날짜 형태로 인덱스를 자동 생성하는데, 여러 타이틀 혹은 용도 별로 분리하려면 수정이 필수적임. 만약 새롭게 생성하는 상황이라면, 원하는 곳에 pipelines에 적용할 config 파일을 하나 만들자. ( https://www.elastic.co/guide/en/logstash/current/advanced-pipeline.html 참고) 만약 이미 만들어 두었다면 config/pipelines.yml을 열어 pipeline.id의 path.config를 확인해보자. 이제 기본적인 pipeline config를 구성했다면 원하는 조건과 이름을 활용해 인덱스를 수정해보자. 만약 logstash에서 elasticsearch로 바로 보낸다면 output 부분이 아래와 같을 것이다. ou..