MySQL
-
MySQL DB 바이너리 로그 삭제 처리개발 이야기/DB, 데이터분석, AI 2022. 10. 17. 09:07
개발 혹은 테스트 인프라에서 MySQL 운영할 때 바이너리 로그를 지우지 않아 문제가 되는 경우를 가끔 보내요. MySQL(MariaDB)의 경우 global variables에서 바이너리 로그 유지 기간을 설정할 수 있습니다. SHOW VARIABLES LIKE 'expire_logs_days'; 위와 같이 쿼리를 해보면 0 혹은 별도 지정한 값이 출력됩니다. 단위는 days입니다. set global expire_logs_days=7; 위의 예처럼 유지할 일자를 설정하면 자동으로 삭제됩니다. 만약 수동으로 바이너리 로그를 삭제하고 싶다면 원격 접속해서 지울수도 있고 쿼리로 아래와 같이 삭제할 수 있습니다. reset mater; // 현재 사용중인 마지막 log만 남기고 나머지 bin log 파일들을..
-
AWS SCT 사용법 정리개발 이야기/DB, 데이터분석, AI 2022. 9. 27. 09:52
최근 아주 오래된 MSSQL DB (2008 R2)를 MySQL로 마이그레이션 작업을 하면서 AWS SCT(Schema Conversion Tool)를 사용해며 관련 내용을 정리해 보았습니다. 이 링크에서 SCT 설치파일과 사용할 JDBC 드라이버를 다운받아 설치합니다. 그리고 Settings -> Global Settings -> Drivers에서 MSSQL과 MySQL 드라이버를 설정합니다. 그리고 상단 메뉴에서 File -> New Project 를 선택해 새로운 프로젝트를 생성합니다. MSSQL 2008 R2는 SCT에서 지원하지 않습니다. 별도 MSSQL 라이센스가 없어도 AWS Console -> RDS에서 Free tier로 SQL 서버를 생성해 사용 후 삭제하면 거의 비용이 들지 않습니다...
-
보안망/Offline 시스템에 Docker 설치하기개발 이야기/인프라 구축 및 운영 2022. 9. 26. 14:20
이 글에서는 외부 인터넷이 연결되지 않는 시스템에 docker를 구축해야 할 경우에 대해 알아보겠습니다. 아래 내용은 Windows OS에 Docker desktop과 mysql image를 설치한다고 가정하겠습니다. 우선 인터넷이 되는 PC를 준비하고 docker를 설치합니다. https://www.docker.com/ 에서 docker를 다운받아 설치합니다. 이후 콘솔창에서 docker command 사용이 가능해집니다. 윈도우 콘솔창을 열어 mysql 이미지를 다운받습니다. > docker pull mysql Using default tag: latest latest: Pulling from library/mysql 051f419db9dd: Pull complete 7627573fa82a: Pull..
-
CDK로 AWS 인프라 구축하기 - #3 보안 그룹과 RDBMS개발 이야기/인프라 구축 및 운영 2022. 6. 14. 12:26
이번에는 보안 그룹을 생성해보고 MySQL ( serverless v1 포함)를 추가해 보겠습니다. 보안그룹 생성은 중복되는 요소들이 많아 별도의 생성함수를 만들고, 보안 그룹을 중복 사용되는 경우도 있으므로 dictionary에 저장하여 관리하고 사용할 수 있도록 만들어 보겠습니다. 아래는 보안 그룹을 생성하는 함수의 예 입니다. . //credential과 database 관련 lib를 import import * as rds from 'aws-cdk-lib/aws-rds'; import { Credentials, DatabaseInstance, DatabaseInstanceEngine, DatabaseSecret, MysqlEngineVersion } from 'aws-cdk-lib/aws-rds'..
-
MySql(MariaDB) binary logs 관리개발 이야기/DB, 데이터분석, AI 2021. 12. 2. 10:50
새로 DB 구축할 때 가끔 까먹는 설정 중 하나가 binary logs 유효기간을 설정하는 것입니다. 용량 부족해서 터져봐야... "아.. !! XxXxxXxX ... " 각설하고 바로 정리하겠습니다. > mysql -uroot -p MariaDB [(none)]> show variables like '%expore%'; +----------------------------+-------+ | Variable_name | Value | +----------------------------+-------+ | expire_logs_days | 0 | >> 0으로 설정되어 있습니다. 영구적으로 남깁니다. | innodb_log_arch_expire_sec | 0 | +----------------------..
-
Linux에 Jupyter Notebook 설치하기개발 이야기/DB, 데이터분석, AI 2021. 11. 19. 17:58
이 글에서는 Jupyter notebook 은 CentOS7에 설치하고 사용자들은 Windows로 접근한다고 가정하겠습니다. 그리고 elasticsearch, MariaDB(or MySQL) 에 연결하여 데이터를 검색하는 것까지 확인해 보겠습니다. 1. CentOS에 Jupyter notebook 설치하기 2. Windows에서 접속하기 3. Elasticsearch, MariaDB 연결하기 +a. 그래프 그려보기 1. CentOS에 Jupyter notebook 설치하기 Anaconda는 파이썬에서 다양한 가상환경을 쉽게 구축할 수 있으며, 머신러이, 데이터 분석 등에 필요한 패키지들을 포함하고 있는 파이썬 배포판입니다. 우선 Anaconda를 설치합니다. > wget https://repo.anaco..
-
mariadb(mysql) 이중화 구성개발 이야기/인프라 구축 및 운영 2021. 4. 8. 19:04
이전에 클러스터 구축에 대한 내용을 정리했는데, 오늘은 이중화 구성을 정리해 보겠습니다. 클러스터로 구성하는게 이중화 구성 보다는 많은 장점이 있다고 생각하지만 쓰임새에 따라 필요한 경우도 있어서 정리를 해봤습니다. 이중화를 구성하는 여러 방법들이 있지만 여기서는 가장 심플한 구성의 이중화를 정리해 보겠습니다. 지금부터 master db를 M, slave db를 S라고 지칭하겠습니다. Replication 절차 mariadb(mysql)은 이중화 과정을 살펴보면 M에 event가 발생하면 M은 S와 복제를 위해 생성해둔 binary log file에 DB업데이트와 동시에 기록을 해둡니다. 그리고 S는 자신이 M의 binary log 몇 번째 위치의 데이터를 마지막으로 가져왔는지 기록했다가 M의 binar..
-
Collo - slideshare 링크 공유개발 이야기/DB, 데이터분석, AI 2019. 11. 5. 11:29
Collo를 좀 더 알기쉽게 전달하기 위해 개요 및 샘플들을 제작하여 SlideShare에 공유 중입니다. 이 글에서도 링크를 추가하여 계속 업데이트 하도록 하겠습니다. https://www.slideshare.net/winninghabit/collo-01-kr Collo -01 , kr Collo를 소개합니다! https://github.com/blackwitch/Collo www.slideshare.net https://www.slideshare.net/winninghabit/collo-02-kr 불러오는 중입니다...