가끔 보자, 하늘.

Collo를 좀 더 알기쉽게 전달하기 위해 개요 및 샘플들을 제작하여 SlideShare에 공유 중입니다. 

이 글에서도 링크를 추가하여 계속 업데이트 하도록 하겠습니다.

https://www.slideshare.net/winninghabit/collo-01-kr

https://www.slideshare.net/winninghabit/collo-02-kr

한동안 회사에서 진행한 Data Warehouse(이하 DW) 및 통계시스템 구축이 최근 완료되었습니다. 

그리고 데이타를 저장한 Database(이하 DB) 종류, 저장된 로그의 파일 포멧 그리고 서버 위치도 다른 데이터들을 한 곳으로 손쉽게 모으기 위해 만들었던 천 줄 내외의 Javascript 코드를 정리해서 Collo라는 이름으로 github에 며칠 전 공개하게 되었습니다.

Collo의 주 목표는 실시간으로 누적되는 데이터를 해당 시스템의 부하없이 DW로 가져오는 것이었으며, 마이그레이션에 대한 모든 기능을 포함한 솔루션이 아닌 손쉽게 수정, 조작 가능한 작은 유틸리티 제작을 목표로 한 프로젝트였습니다. 그리고 데이타를 가져오는 성능 보다는 안정성에 더 중점을 두어 제작하였습니다. 그리고 유지보수를 위해서도 언제든, 누구든 분석하기 쉽게 가능한 작은 코드 수를 유지하려고 노력했습니다. 혼자 개발을 했기 때문에 개발 시간 단축, 각 저장소에 대한 안정된 연결을 유지하기 위해 공개된 npm들을 최대한 활용하였습니다.

제작 중간부터는 사용 가능한 저장소를 하나 둘 늘리면서 내가 다뤄보지 않은 저장소에 대해서도 지원하면 좋겠다는 생각을 했고, 이 작은 프로젝트가 같은 고민과 과제를 안고 있는 누군가에게 도움이 되었으면 했습니다. 이때부터 오픈소스로 공개를 목표로 하게 되었습니다. 게다가 관리툴의 UI도 엉망이어서 누군가의 도움을 받길 원했습니다. (첫번째 목표였을지도... -_-a)

이 카테고리에는 Collo에 대한 활용 방법, 예시들을 올릴 예정입니다. 

https://github.com/blackwitch/Collo

It may not be safe to bootstrap the cluster from this node. It was not the last one to leave th..

mariadb 테스트 중에 위와 같은 오류가 나서 찾아봤다. 

3대에 galera 설정해서 클러스터 구성하여 사용 중이었다. 

centos7 mariadb 10 사용 중.

다른 서버들은 모두 정상 가동 중이었고, 한 대만 문제가 발생한 상태.

netstat -na | grep 3306으로 포트를 확인하니 죽어있고 

systemctl start mariadb로 재가동이 안되어

systemctl status mariadb.service로 확인하니 위와 같은 에러가 발생한 상태.

설치된 폴더 (/var/lib/mysql)로 가서 

galera.cache, grastate.dat 파일을 삭제 후 재시작하니 정상 가동됨. 

두 파일은 시스템이 갑자기 문제가 생기면서 mariadb 프로세스가 죽으면서 미처 삭제 못한 temp 파일 인 듯.

mariadb와 galera를 사용하여 클러스터 구성하는데 두 번째 node부터 실행이 안되서 찾아보니 포트가 다 안열린 것!

http://galeracluster.com/documentation-webpages/firewallsettings.html

3306 : mysql client connections 을 위한 포트

4567 : UDP와 TCP 둘 다 사용하는 Galera Cluster  복제 트래픽, 다중 복제를 위한 포트

4568 : Incremental State Transfer(변경된 상태 전송) 를 위한 포트

4444 : State Snapshot Transfer(전체 상태 전송) 를 위한 포트

Donor (제공자) : 원래 데이터를 가진 기준 노드

Joiner (가입자) : Donor로부터 데이터를 제공받는 노드

Donor에 Joiner가 최조로 접속하면 SST를 통해 전체 복제가 진행된다. 이후 IST를 통해 변경된 데이터들이 전송된다.

기존적으로 rsync를 사용하는데 속도는 빠르지만 Donor의 blocking 시간이 길어 병목이 발생할 수 있다. 

그 외 mysqldump(이름의 뉘앙스처럼.. 엄청 느림!!)와 xtrabackup(속도가 빠르지는 않지만 Donor의 blocking 시간을 줄여준다.)이 있다.

ES에서 제공하는 결과물은 대부분 멋지지만 가끔 odbc의 기능들이 필요한 경우가 있다. (X-pack을 사용하면 sql like query가 가능하지만 비용이 ..)

kibana 등에서는 결과를 실시간 쿼리를 통해 보기 때문에 반응성이 항상 아쉽다.

이런 저런 이유로 리포트용 솔루션을 별도 구축하게 되었다. 

만드는 김에, 일부 sql query가 필요한 경우를 위해, 필요한 로그들을 ES로 보냈다가 가져오기는 추가적인 절차가 필요해서,

logstash에서 ES로 보내면서 필요한 일부분만 바로 mysql에 직접 보내기로 했다. 

플러그인을 만들어야 하나 찾아보니... 

https://www.elastic.co/guide/en/logstash/current/input-plugins.html  >> input에는 

https://www.elastic.co/guide/en/logstash/current/output-plugins.html >> output에는 없네??

구글링 해보니 git에 있다.

https://github.com/theangryangel/logstash-output-jdbc/tree/master

하지만 2018/07/23 기준으로 아직 6.x 버전 대에서는 문제가 있을 수 있다네.

"See master branch for logstash v5 & v6  This is untested under Logstash 6.3 at this time, and there has been 1 unverified report of an issue. Please use at your own risk until I can find the time to evaluate and test 6.3."

대량 삽입에 대한 이슈가 한 개 올라와 있는데, 회피하거나, 어차피 오픈소스니 문제 생기면 고쳐서 리포트도 해줄 겸 해보자고 시작함. 

[ 설  치 ]

일단 jdbc 다운로드 해서 vendor 폴더 안에 jar/jdbc 폴더 만들고 삽입.

http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-8.0.11.tar.gz  >> 오늘 기준 최신 파일. https://dev.mysql.com/downloads/connector/j/에서 최신 버전을 확인 후 버전 번호를 대체하면 다운 받을 수 있음.

압축 풀어서 vendor/jar/jdbc 폴더에 삽입. logstash가 설치된 곳마다 별도 설치해야 함.

이후 logstash 폴더에서 bin/logstash-plugin install logstash-output-jdbc를 실행. 

[ 설  정 ]

사용하는 config파일 열어서 아래 내용 추가.

output 내용 중 필요한 조건에 따라 아래 내용을 추가하면 됨.

        if[조건]==값{
            jdbc {
                driver_class => "com.mysql.cj.jdbc.Driver"
                connection_string => "jdbc:mysql://your_mysql_addr:port/your_db?characterEncoding=UTF-8&serverTimezone=UTC&user=input_your_id&password=input_your_pwd"
                statement => [ "INSERT INTO table_name (column1, column2) VALUES(?,?)", "raw_data_name1", "raw_data_name_2" ]
            }
        }

보다 상세한 옵션에 대해서는 https://github.com/theangryangel/logstash-output-jdbc/tree/master#configuration-options 를 참고할 것.

이상. 

게임 관리툴(mysql 연동)/로그 시스템(couchbase 연동) 제작하면서 같이 정리함.

* 일단 node.js를 설치한다.  (http://www.nodejs.org/)

* express 패키지를 설치한다. (command line 에서 "npm install express" 입력!)

 : 설치하고 나서 npm list installed에 express 안나오네? 일단 node_modules에 들어가면 설치된 것을 확인할 수 있음.

* 집에서 하고 있는 거라 DB는 xampp 에 있는 mysql 사용. 가동 편하고 인스톨 편하고, 이미 설치되어 있고...

* node-mysql 모듈 설치 ("npm install mysql")

* couchbase는 여기서 다운로드 (http://www.couchbase.com/)

* couchbase 모듈 설치("npm install couchbase")

  => 이 모듈 외에도 설치시 vcbuild.exe가 필요한 경우가 있음. 

    :http://www.microsoft.com/ko-kr/download/details.aspx?id=40787

  => python3 버전으로 설치했었는데, 빌드가 안됬음. 2.7 버전에 3.0 버전 사이 쓰라는 메세지 나옴. 주의할 것!

  => 모듈을 한번 빌드하고, 다음엔 그냥 복사해서 썼는데, 32bit에서 빌드한거 64bit용에서 쓰니 에러 남. 주의할 것!

  => 윈도 서버에서는 해당 모듈 폴더에 빌드가 되던데, 일반 PC에서는 "users/계정/appdata/roaming/npm/node_modules/에 빌드 됨. 폴더 위치 주의할 것!

쿼리브라우져를 사용할 때,

새로운 편집 창을 열면 새로운 세션이 생성됨.

그래서 편집 창을 열었다가 뭔가 하고 닫기를 반복하면, 

세션이 계속 생성되어, max_connections 개수를 초과하는 문제가 발생할 수 있다. 

거기다 wait_timeout을 길게 잡아두면 더 쉽게 걸림. 

sp를 줄줄이 수정하다가 문제가 생기는 경우가 있음. 

주의하자.!!

예를들어 sp를 사용할 때, 내가 조회하는 테이블에 seqIndex라는 컬럼이 있고,

쿼리문은 아래와 같다고 가정한다.

insert into tbTable_Backup (seqIndex) select @seqIndex from tbTable where index=@inp_index;

tbTable과 tbTable_Backup은 같은 구조로 되어 있으며,

tbTable은 seqIndex bigint 컬럼 하나만 가지고 있다고 가정한다.

위 쿼리에서 원래는 서브쿼리인 select문은, 아래의 코드가 원래 의도했던 바다.

insert into tbTable_Backup (seqIndex) select seqIndex from tbTable where index=@inp_index;

이 경우, 

Query Browser 든, WorkBench든 문법 오류를 발생하지 않는다.

(컬럼 이름과 변수명이 틀린다고 해도 오류를 발생하지는 않음.)

sp를 사용할 때는 더 황당해 지는데, SQLExecute를 실행해도 오류는 발생하지 않는다.

output 값이 없을 경우, 이런 에러에 대해서는 대처할 방안이 없다. 

또한 output 값이 있어도 정상적인 output값을 리턴하지 않는다.

지정된 output값에는 @seqIndex값이 들어가 있을 것이다. 

output 변수의 이름이 @seqIndex가 아니어도...

단순 오타에서 비롯된 문제긴 했지만, 

mysql에서 어떻게 이런 코드가 output값에 영향을 미쳤는지 찾아봐야 할 듯.

쿼리 브라우져에서 sp가 안보이는 현상 발생.

CentOS , Mysql. 5.6.x, 

[발생 상황]

- sp를 실시간으로 수정하기 위해 sp 수정해서 실행을 누름. 

- 때마침 DB 부하 테스트 중이었는데 ... 

- sp 수정을 위한 실행이 멈춤. 응답없음으로 돌변

- 시스템 재부팅 해봄. 

- 디스크 용량 부족을 확인함.

- 디스크 정리.

이제 다른 DB는 다 보이는데, 내가 작업하던 DB만 안보임. 

show procedure status 때려보니 일단 존재는 함. 휴~~~

show create procedure sp이름; 해보니 내용도 잘 존재함. 휴~~~

근데 왜 쿼리 브라우져에서는 sp가 안보이는거지??

--;; 리플레쉬하니 나오네.. ㅋ

로그 위치를 별도 지정하지 않았다면 일반적으로 /var/lib/mysql 에 생성됨.

바이너리 로그는 mysql-bin.0000XX 이런식으로 생성되며, 이 파일을 삭제할 경우가 생긴다면

mysql-bin.index에 기록된 정보도 같이 수정되어야 한다.

(* 이 내용이 일치하지 않으면 실행 안됨.)

바이너리 log 파일은 mysqlbinlog [로그파일명] 으로 볼 수 있으며, 텍스트 파일 형태로 변환할 때는 mysqlbinlog mysql-bin.000001 >> mysqlquerylog.txt 형태로 변경하여 볼 수 있다. 

용량이 크면 split으로 분리할 것!

/etc/my.cnf 에서 innodb_log_file_size의 용량을 수정할 때는 innodb_buffer_pool_size의 25% 이하로 설정해야 함.

innodb_log_file_size옵션값으로 설정되는 파일이 ib_logfile0과 1인데, 해당 옵션의 값을 조정하려면 아래와 같은 순서로 진행해야 한다.

1) mysql 종료

2) ib_logfile0과 1을 이동하거나 이름 변경

3) 옵션값 조정

4) 재시작

기존에 할당된 용량만큼의 사이즈로 이미 할당되어 있기에 옵션만 바꾸면 실행시 에러가 발생한다. 주의할 것!