가끔 보자, 하늘.

이전에 클러스터 구축에 대한 내용을 정리했는데, 오늘은 이중화 구성을 정리해 보겠습니다. 클러스터로 구성하는게 이중화 구성 보다는 많은 장점이 있다고 생각하지만 쓰임새에 따라 필요한 경우도 있어서 정리를 해봤습니다. 이중화를 구성하는 여러 방법들이 있지만 여기서는 가장 심플한 구성의 이중화를 정리해 보겠습니다. 지금부터 master db를 M, slave db를 S라고 지칭하겠습니다. Replication 절차 mariadb(mysql)은 이중화 과정을 살펴보면 M에 event가 발생하면 M은 S와 복제를 위해 생성해둔 binary log file에 DB업데이트와 동시에 기록을 해둡니다. 그리고 S는 자신이 M의 binary log 몇 번째 위치의 데이터를 마지막으로 가져왔는지 기록했다가 M의 binar..

일반적으로 linux에서 logstash를 운영하지만 테스트를 위해 windows에서 실행해 봤습니다. AWS 계정 설정 c:\users\사용하는계정\.aws에 config , credentials 파일을 생성합니다. config파일에는 아래와 같이 default resion을 설정합니다. [default] region = ap-northeast-2 credentials 파일에는 kinesis에 접근 가능한 인증정보를 삽입합니다. [default] aws_access_key_id = access_key_id_from_iam_account aws_secret_access_key = access_key_id_from_iam_account kinesis 플러그인 설치 logstash 플러그인 툴로 아래와 같이..

윈도우에서 Jenkins 운영할 때 Slack 혹은 email로 결과 전송을 할 때 한글이 깨지는 경우가 발생합니다. 최신 버전에서는 확인된 적이 없지만 혹시 발생한다면 환경변수에 encoding 관련 설정을 추가하면 됩니다. Jenkins에서 빌드 과정 중 bash를 통해 획득한 정보들을 전송할 때 한글이 깨지는 경우가 발생합니다. 예를들어 git의 commit message를 확인하기 위해 shell command를 통해 텍스트를 확인할 때 깨지는 경우가 있는데요. Jenkins 실행 과정에 encoding 설정을 추가해야 합니다. jenkins.xml 파일을 열어 arguments -Dfile.encoding=UTF8 옵션을 추가 후 jenkins를 재실행해야 합니다. 즐거운 하루 보내세요. :)

github나 gitlab 으로 CI/CD를 구축하는건 다들 큰 문제는 없으실 겁니다. 이번에 windows에 jenkins, bonobo git으로 자체 git 서버를 구축해서 사용하여 CI/CD 구축하려니 걸림돌이 여럿 있어 정리해 보았습니다. 더보기 아래 내용은 windows 10 / Jenkins(2.277.1) / Bonobo Git Server (6.5.0) / git (2.31.0) 를 사용해 진행했습니다. 이 글에 포함된 예제의 목표 시나리오는 다음과 같습니다. 1) 개발자가 'master'라고 명명한 브랜치에 push를 하면 최신 코드를 받아 ssh를 통해 서비스 노드로 전송 2) 마지막 commit message를 환경변수에 임시 저장 3) slack의 지정한 채널로 저장한 메세지를 전..

가동중인 Elasticsearch cluster nodes를 가동 상태를 유지하며 업그레이드 하는 절차를 정리했습니다. Rolling upgrades 에 대한 공식 문서는 이 링크를 참고하세요. 시작 전 각 node에 최신 버전을 미리 설치 후 config 파일을 설정하여 기존 버전을 종료한 후 바로 실행할 수 있게 준비를 해두면 좀 더 빠르게 업그레이드를 마무리 할 수 있습니다. 각 노드를 종료하기 전 allocation이 진행되지 않도록 아래와 같이 allocation 을 disable 시킵니다. # 노드 종료 전 PUT _cluster/settings { "persistent": { "cluster.routing.allocation.enable": "none", "cluster.routing.reb..

최근 시스템 확장을 위해 Elasticsearch의 최신 버전을 설치하면서 정리한 글입니다. 이전에 정리했던 6.x 버전 설치기, cluster 설정을 보면서 설치중에 불필요한 내용 정리하고 합칠 내용 합쳐서 최신 내용으로 다시 업데이트 하려 정리합니다. 6.x 버전에서는 Java 8을 별도 설치해야 했지만 7.x 버전에서는 OpenJDK가 포함되어 있어 별도 설치할 필요는 없습니다. 이 글은 CentOS 7.9.2009 (Core) release, 그리고 Elasticsearch 7.10.1 버전을 기준으로 작성되었습니다. (곧 7.11이 나올 예정인가보네요. 8.x로 넘어가기 전 마지막 버전일 줄 알았는데... -0-a ) 일단 해당 서버로 elasticsearch-7.10.1-linux-x86_64..

elasticsearch를 위한 머신들을 업그레이드 테스트를 위해 조립용 PC에 OS 용 1TB SSD x 1, 데이타 용 2TB SSD x2 를 RAID 0로 묶어 4TB 디스크를 설치하며 기록으로 남길 겸 내용을 정리해 보았습니다. (가끔 여러분도 뭔가 몰라서 검색하다보면 자신이 올린 글이 나올때가 있지 않나요? ^^a) 이 글은 Raid로 묶인 디바이스를 확인, 파티셔닝하여 /data 라는 폴더에 연결하는 것 까지가 목표입니다. 가능한 잡다한 것들은 버리고 흐름을 정리하는데 집중하겠습니다. 그럼 시작해 보겠습니다. 장치 인식 시키기 bios에서 1TB SSD는 Non-raid로 2TB x 2 는 Raid0로 설정 후 os를 설치합니다. 저는 CentOS 7.x minimal 버전을 설치했습니다. 아..

보통 최종 서비스 단계에서는 minimal 버전 설치 후 필요한 패키지들을 추가로 설치하여 보안 및 사용성을 높입니다. 그런데 처음 minimal을 설치하면 안되는 것들이 생각보다 많습니다. 저도 오랜만에 다시 설치를 하면서 잊어버린 내용도 정리할 겸 몇 글자 적어봅니다. 처음 설치 후 어떻게 진행해야 하는지 하나씩 정리해 보겠습니다. (2024년이 마지막이라고 생각하니 가슴이 ... ㅠ_ㅜ) 1. 네트웍 통신 확인 설치 후 바로 ping 이나 curl로 외부와의 통신을 확인하려고 하면 Network is unreachable 이라는 메세지가 보입니다. 설치 시 nic에 대한 설정이 되어 있어도 아직 비활성화 되어 있기 때문입니다. > ip addr network interface에 대한 상세 수정이 필..

ListObjects/ListObjectsV2 API 사용 설정에 대한 주의 사항 S3 Bucket 접근 시 권한을 설정할 때 Bucket에 대한 권한인지 Object에 대한 권한인지에 따라 아래 스샷처럼 별도 설정이 필요하다. 위의 제목에서 보듯이 ListObjects 라고 명명된 API지만 작업 목록에 ListObjects라는 권한은 존재하지 않으며, ListBucket 권한을 할당해야 정상적으로 사용 가능하다. 이에 대한 상세한 내용은 이 링크를 참고하기 바란다. ListBucket 이라는 API가 별도 존재하기 때문에 혼동될 수 있으니 주의가 필요하다. 이렇게 설정되지 않으면 Access Denied 에러를 볼 수 있으며, ListBucket 권한을 GetObject와 같이 설정하면 (위 스샷의 ..

https://aws.amazon.com/ko/blogs/korea/amazon-ebs-update-new-elastic-volumes-change-everything/ Amazon EBS 업데이트 – 언제나 자유롭게 볼륨 유형 및 크기 변경 가능 | Amazon Web Services AWS 고객은 서비스를 시작한 후, 사용자 트래픽 및 데이터 사이즈가 증가함에 따라 기존 볼륨을 수정하여 용량을 추가하거나 I/O 성능 특성을 변경해야 할 경우가 생깁니다. 이를 변경하기 위해, 2 aws.amazon.com https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/recognize-expanded-volume-linux.html 볼륨 크기 조정 후 Linux..