가끔 보자, 하늘.

MSSQL에서 DB를 복구 시 복구된 DB에 연결된 사용자가 있어 재설정 시 복잡한 경우가 발생합니다. 아래와 같은 순서로 복구를 진행하면 편리합니다. 복구 전 사용한 같은 이름의 사용자를 생성합니다. 복구 전이므로 기본 데이터베이스는 기본으로 설정합니다. DB를 복구합니다. 이때 같은 이름의 사용자가 있으면 복구된 DB에서는 초기화되어 자동 삭제됩니다. 이제 보안 -> 로그인 으로 가서 사용하려는 사용자의 기본 데이터베이스도 설정하고, 사용자 매핑에서 사용할 DB를 지정하고 스키마 설정을 합니다. 위와 같이 진행하면 깔끔하게 마무리 됩니다. 만약 복구를 선진행했다면 설정된 사용자을 지우고 다시 생성, 연결해야 합니다. 이때 사용자를 삭제하려면 데이터베이스의 스키마를 소유하고 있어 삭제할 수 없다는 에러..

새로 DB 구축할 때 가끔 까먹는 설정 중 하나가 binary logs 유효기간을 설정하는 것입니다. 용량 부족해서 터져봐야... "아.. !! XxXxxXxX ... " 각설하고 바로 정리하겠습니다. > mysql -uroot -p MariaDB [(none)]> show variables like '%expore%'; +----------------------------+-------+ | Variable_name | Value | +----------------------------+-------+ | expire_logs_days | 0 | >> 0으로 설정되어 있습니다. 영구적으로 남깁니다. | innodb_log_arch_expire_sec | 0 | +----------------------..

이 글에서는 Jupyter notebook 은 CentOS7에 설치하고 사용자들은 Windows로 접근한다고 가정하겠습니다. 그리고 elasticsearch, MariaDB(or MySQL) 에 연결하여 데이터를 검색하는 것까지 확인해 보겠습니다. 1. CentOS에 Jupyter notebook 설치하기 2. Windows에서 접속하기 3. Elasticsearch, MariaDB 연결하기 +a. 그래프 그려보기 1. CentOS에 Jupyter notebook 설치하기 Anaconda는 파이썬에서 다양한 가상환경을 쉽게 구축할 수 있으며, 머신러이, 데이터 분석 등에 필요한 패키지들을 포함하고 있는 파이썬 배포판입니다. 우선 Anaconda를 설치합니다. > wget https://repo.anaco..

Elasticsearch 7.11.0 On Premise 환경에서 AWS S3 에 스냅샷을 생성하는 내용을 정리해 보았습니다. Cloud 환경에서는 조금 다를 수 있으니 참고하세요. 아래 내용은 www.elastic.co/guide/en/elasticsearch/plugins/7.11/repository-s3.html#repository-s3-install의 내용을 참고해서 정리했습니다. 이해를 돕기 위해 이미지가 많이 첨부된 관계로 서술형 문체보다는 간략히 요점만 정리했습니다. 아래와 같은 순서로 정리되어 있습니다. 1. AWS S3 플러그인 설치 2. AWS S3에 스냅샷 저장소 생성 3. Kibana에 AWS S3 저장소 등록 4. 스냅샷 생성/복구하기 5. 검색 가능한 스냅샷 설정 1. AWS S..

개발 환경 windows 10(64bit), python 3.8, PyCharm 개요 - 형태소 분석기 종류 - mecab-ko 설치 - 유저 사전 추가 - 샘플 코드 형태소 분석기 종류 텍스트 형태의 자료 분석을 위해 전처리 작업은 필수입니다. 이를 위해 개발된 한글 형태소 분석기도 여럿 있습니다. 꼬꼬마, khaiii, KOMORAN, MeCab 등이 있습니다. MeCab은 원래 일본어 형태소 분석을 위해 만들어진 오픈소스이며, 한글 형태소 분석을 위해 진행된 은전한닢 프로젝트을 위해 MeCab을 fork해 mecab-ko가 만들어집니다. 형태소 분석기 별로 장단점이 있지만 여기서는 eunjeon을 중심으로알아보겠습니다. (각 형태소의 특징에 대해서는 이 블로그에 잘 정리되어 있으니 참고하시기 바랍니..

거래처에서 전달받는 데이터 중 엑셀 파일을 메일로 전달하는 곳이 있습니다. 담당자는 이 파일을 받아 DB로 업로드 하는 작업을 수동으로 진행합니다. 그 일을 덜고자 python으로 매일 해당 메일의 첨부파일을 자동으로 다운받아 업로드하는 프로그램을 만들어 주었습니다. 여기서는 자동으로 메일의 첨부 파일을 다운로드하는 부분까지만 구현을 해보겠습니다. 전체 소스코드는 이 곳을 참고하세요. ------------------------------------------------------------------------------ 1. 개요 테스트 환경 : windows 10, python 3.8 필요한 패키지 : - 메일 클라이언트를 위해 imapclient , pyzmail(메일 내용 파싱) 사용 - 스케쥴..

[개발 환경] windows 10 / PyCharm / Python 3.8 / CUDA Ver 10.1 / tensorflow, tensorflow-gpu 2.3.1 gpu 가속을 사용하려면 tensorflow-gpu, 그리고 cuda toolkit, cuda DNN을 설치해야 합니다. 최신 cuda 버전은 11.2 이지만 tensorflow 2.3.1에서는 CUDA Toolkit 10.1, cuDNN 7.x 버전을 사용합니다. 다운로드 주소는 각각 아래와 같습니다. CUDA Toolkit 10.1 developer.nvidia.com/cuda-toolkit-archive (2.3GB) CUDA Deep Neural Network Library (cuDNN) 7.6.5 developer.nvidia.co..

json, 별도 포멧의 파일에 데이터를 입력하고 사용하려면 데이터 가공 및 배포에 대한 허들이 발생합니다. 트래픽이 많이 발생하지 않는다면 spreadsheet에서 데이터를 일괄 관리하고, 필요한 곳에서 spreadsheet 접속하여 갱신된 최신 데이터를 가져와 사용한다면 데이터 가공/배포에 대한 비용을 극적으로 줄일 수 있습니다. 모듈은 google-spreadsheet를 사용하여 Google Spread Sheet API를 사용하며, document는 theoephraim.github.io/node-google-spreadsheet/#/ 를 참고하시면 됩니다. API 사용을 위해서는 console.developers.google.com/에서 API 사용 허가를 설정해야 합니다. sheet 사용을 위한..