일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
31 |
- MySQL
- Windows
- 영어
- 설정
- Ai
- Python
- MSSQL
- nodejs
- ChatGPT
- API
- 연동
- JavaScript
- Linux
- 구글
- error
- JS
- ssh
- elasticsearch
- SSL
- Kibana
- unity
- AWS
- s3
- 유니티
- logstash
- sample
- mariadb
- build
- docker
- Today
- Total
목록개발 이야기/DB, 데이터분석, AI (39)
가끔 보자, 하늘.
운영하는 인프라 중 elasticsearch가 있다. 심지어 버전은 7.11. 5개 node를 운영하고 있으며, 일 데이터가 7GB 정도 누적된다. 오래된 데이터를 자동으로 S3로 백업되면서 용량 이슈도 거의 없어 최근에 2년 정도는 손 댄 기억이 거의 없었다. (* 최근 여러 서비스의 data pipeline을 통합하려고 aws glue, athena, quicksight로 통합하려고 보고 있는데 가성비가 es를 따라가기는 어려울 것으로 판단된다. 이거 다음에 이야기할 기회가 있을 듯 하고.. 어쨌든 PB 운영 용량이 아니면 거의 문제없을 정도로 뛰어난 제품이다.) node 중 하나가 갑자가 샤드 할당에 문제가 발생한 듯 보였다. 현상은 아래와 같았다. Kibana에서 확인하니 Status 이미 yel..
뭔가 실수로 transaction log가 백업되지 않아 커지는 문제가 발생했다면 ldf 파일을 강제로 줄이는 방법이 있습니다. 2008 버전 정도에서는 backup log [db명] with truncate_only 라는 쿼리를 실행해 ldf 파일을 비울 수 있습니다. 만약 truncate_only' is not a recognized backup option 라는 오류가 발생하는 버전이라면 backup log [db명] to disk='null' 이라는 쿼리를 실행해 ldf 파일을 비울 수 있습니다. 간혹 백업 처리 과정마저도 문제가 발생하는 경우는 Database 백업 모드를 simple로 조정 후 shrinkfile('db log logical name' , 1) 이라는 쿼리를 실행하면 log 파..
Data pipeline 을 AWS로 마이그레이션 하려고 관련 제품들을 살펴보는 중입니다. 기존 프로세스를 어떻게 AWS로 가져올지를 검토하기 위해 알아볼 겸 간단히 정리해 보겠습니다. 현재는 각종 서비스의 데이터를 가져오기 위해 시기에 따라 제작하여 운영해오고 있었기 때문에 서비스 별로 서로 다른 pipeline을 사용하고 있습니다. 예를들어 데이터 수집을 위한 (1) 전용 api server를 만들고, (2) 데이터 손실 방지를 위해 redis에 일정 기간 저장/백업 후 자동 삭제, (3) 이를 logstash로 정기적으로 가져와 (4) Elasticsearch에 저장, 다시 이를 (5) DW에 가공하여 저장, 일부는 실시간 지표 확인을 위해 (6) S3에 저장, 모바일/웹에서 (7) 뷰어를 제공해 ..
LLM 관련해서 흥미있게 보고 있는데, NLP 개발자가 아니라 LLM 관련 용어들이 꽤 생소하여 관련 글을 보면서 이해가 안되는 부분이 꽤 있더군요. 그래서 ChatGPT를 중심으로 LLM에서 주로 사용되는 용어들을 가능한 쉽게 정리해 봤습니다. 일부는 ChatGPT에게, 일부는 구글링하면서 정리했습니다. 혹시 잘못된 부분이 있다면 댓글 부탁드립니다. LLM의 최근 역사 2017년 구글에서 발표한 Transformer 모델은 순차 데이터를 학습할 수 있는 신경망으로 LLM이 대두하는 계기가 되었습니다. 2018년 말 구글에서 발표한 BERT(Pre-traning of Deep Bidirectional Encoder Representations from Transformers)는 NLP 벤치마크에서 신기록..
에러 메세지(error 15136) : "데이터베이스 보안 주체는 데이터베이스의 스키마를 소유하여 삭제할 수 없습니다.", 다른 팀에서 MSSQL서버를 scale up을 위해 이관하던 중 어떤 이유에선지 특정 계정이 db의 owner로 지정된 경우가 최근 발생한 것을 확인했었습니다. 권한 조정이 필요한데 특정 계정이 삭제 안된다는 문의가 와서 확인을 했더니 sp 실행권한만 있어야 할 계정이 db_owner로 떡하니 설정되어 있더군요. 이런 경우 GUI에서 계정 해제가 불가능하므로 쿼리로 owner 권한을 dbo로 이관해야 합니다. 다음 쿼리로 조정이 가능합니다. alter authorization on schema::db_owner to dbo; 위와 같이 권한을 위임을 하면 해당 계정을 삭제하거나 권한..
개발 혹은 테스트 인프라에서 MySQL 운영할 때 바이너리 로그를 지우지 않아 문제가 되는 경우를 가끔 보내요. MySQL(MariaDB)의 경우 global variables에서 바이너리 로그 유지 기간을 설정할 수 있습니다. SHOW VARIABLES LIKE 'expire_logs_days'; 위와 같이 쿼리를 해보면 0 혹은 별도 지정한 값이 출력됩니다. 단위는 days입니다. set global expire_logs_days=7; 위의 예처럼 유지할 일자를 설정하면 자동으로 삭제됩니다. 만약 수동으로 바이너리 로그를 삭제하고 싶다면 원격 접속해서 지울수도 있고 쿼리로 아래와 같이 삭제할 수 있습니다. reset mater; // 현재 사용중인 마지막 log만 남기고 나머지 bin log 파일들을..
최근 아주 오래된 MSSQL DB (2008 R2)를 MySQL로 마이그레이션 작업을 하면서 AWS SCT(Schema Conversion Tool)를 사용해며 관련 내용을 정리해 보았습니다. 이 링크에서 SCT 설치파일과 사용할 JDBC 드라이버를 다운받아 설치합니다. 그리고 Settings -> Global Settings -> Drivers에서 MSSQL과 MySQL 드라이버를 설정합니다. 그리고 상단 메뉴에서 File -> New Project 를 선택해 새로운 프로젝트를 생성합니다. MSSQL 2008 R2는 SCT에서 지원하지 않습니다. 별도 MSSQL 라이센스가 없어도 AWS Console -> RDS에서 Free tier로 SQL 서버를 생성해 사용 후 삭제하면 거의 비용이 들지 않습니다...
MSSQL에서 DB를 복구 시 복구된 DB에 연결된 사용자가 있어 재설정 시 복잡한 경우가 발생합니다. 아래와 같은 순서로 복구를 진행하면 편리합니다. 복구 전 사용한 같은 이름의 사용자를 생성합니다. 복구 전이므로 기본 데이터베이스는 기본으로 설정합니다. DB를 복구합니다. 이때 같은 이름의 사용자가 있으면 복구된 DB에서는 초기화되어 자동 삭제됩니다. 이제 보안 -> 로그인 으로 가서 사용하려는 사용자의 기본 데이터베이스도 설정하고, 사용자 매핑에서 사용할 DB를 지정하고 스키마 설정을 합니다. 위와 같이 진행하면 깔끔하게 마무리 됩니다. 만약 복구를 선진행했다면 설정된 사용자을 지우고 다시 생성, 연결해야 합니다. 이때 사용자를 삭제하려면 데이터베이스의 스키마를 소유하고 있어 삭제할 수 없다는 에러..