일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- JavaScript
- ChatGPT
- Linux
- nodejs
- 영어
- 유니티
- AWS
- unity
- MySQL
- Ai
- error
- Git
- 엘라스틱서치
- MSSQL
- ssh
- sample
- mariadb
- 구글
- 설정
- s3
- docker
- build
- API
- JS
- elasticsearch
- Python
- Kibana
- logstash
- Windows
- Today
- Total
목록개발 이야기/DB, 데이터분석, AI (40)
가끔 보자, 하늘.
인터넷이나 책에 DB 정규화를 찾아보면 이런 식으로 정리된 내용을 볼 수 있습니다. 그나마 좀 쉽게 정리된 내용을 찾은 건데 익숙하지가 않네요. 한국어인데 뭔지 이해가 잘 안되는 단어들이 여럿 있습니다.(저.. 저만 그런가요 -0-?)더보기제 1 정규화 : 모든 속성이 원자값을 가져야 합니다. 즉, 각 속성은 더 이상 분해할 수 없는 값을 가져야 합니다.제 2 정규화 : 기본키의 일부가 아닌 속성은 기본키 전체에 종속적이어야 합니다. 부분적 종속성을 제거합니다.제 3 정규화 : 기본키에 종속되지 않은 속성들 간의 이행적 종속성을 제거합니다. 즉, 기본키가 아닌 속성이 다른 기본키가 아닌 속성에 종속되지 않아야 합니다.BCNF : 3NF를 강화한 형태로, 대부분의 실용적인 데이터베이스 설계에서 중요한 정규..
24년 다닌 회사를 곧 퇴사!! 열심히 다녔는데 인계할 내용이 많지는 않네. 게임 개발회사라 지금 내가 하는 인하우스툴 및 서비스, 데이터 엔지니어링 업무를 받을 사람은 없지만 그래도 인수인계는 해야 해서 현재의 동료들에게 전달해야만 하는 상황이다. 비용 아끼려도 남아 있는 시스템으로 구축된 거라 누군가 이 업무를 해야 한다면 외부에 잘 만들어둔 서비스를 쓰라고 강조에 강조를 한다. 하지만.. 우리는 좋... 하여간.. 현재 동료 중 이걸 인수인계할 수 있는 인원들이 없는데다 새로 뽑을 계획이 없는 상황. 그래서 나를 대신해 줄 sLLM이 반드시 필요한 상황이었다. 하지만 이쪽 분야에 대해서는 실무를 해본적이 없기 때문에 구글구글구글링링링.. 참고 자료 https://www.youtube.com/watc..
(* 개인적인 이해를 위해 여기저기 돌아다니며 본 내용을 익히려 정리한 내용입니다. 개인적인 추측성 생각도 조금 있으니 참고하세요. 전문가 형님의 지도 미리 감사합니다. :> ) [LLM 이해를 위한 주요 용어 설명] Vector Space 백터 공간은 벡터들의 집합으로, 벡터들 간의 덧셈과 스칼라 곱셈이 정의되어 있다. 벡터 공간은 원점을 가지며, 벡터들 간의 합과 스칼라 곱셈에 대한 8가지 공리(axioms)를 만족해야 한다. 벡터 공간에서는 원점과 다른 점 사이의 거리와 방향을 측정할 수 있다. Affine Space 아핀 공간은 점들의 집합으로, 벡터들의 집합과 비슷하지만 원점이 정의되어 있지 않다. 아핀 공간에서는 점들 간의 차를 벡터로 생각할 수 있다. 즉, 아핀 공간에서는 점들 간의 거리와 ..
예들들어 data_type이 10001인 2023년 12월 25일 데이터를 모두 지우고 재구축하고 싶다면 kibana DevTools혹은 api를 이용해 다음과 같은 순서로 진행합니다. 1. 우선 count api를 이용해 삭제할 수량 확인 및 검증합니다. # index 파일을 날짜로 구분할 경우 한국은 +9 이므로 한국 시간 기준 0시부터 9시까지의 데이터는 logstash-2023.12.24에 포함됩니다. # 그러므로 logstash-2023.12.24에서도 동일한 쿼리를 실행해야 한국시간 기준으로 정확힌 데이터를 확인할 수 있습니다. GET /logstash-2023.12.25/_count { "query": { "bool": { "must": [ { "term": { "data_type": "10..
일반적으로 DB는 안전한 보안망에 구축하기도 하고, 외부에서 DB에 직접 연결을 지원하지 않아 SSL을 적용할 일 자체가 없도록 하는게 더 좋습니다. 그럼에도 필요한 경우가 생기네요. ^^a 여기서는 Ubuntu/MariaDB를 기준으로 정리해 보았습니다. 우선 해당 시스템에 Openssl이 적용되어 있는지 확인합니다. # DB에 쿼리 SHOW VARIABLES LIKE '%ssl%' # 터미널에서 openssl 설치 여부 확인 $ openssl version # 버전확인 $ ldd /usr/bin/openssl # 현재 사용하는 라이브러리와 경로 확인 만약 이미 설정이 완료되어 있다면 아래와 같은 결과를 확인하실 수 있습니다. DB에 설정이 되어있지 않을 경우 have_openssl은 yes로, hav..
https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-datehistogram-aggregation.html Date histogram aggregation | Elasticsearch Guide [8.11] | Elastic Many time zones shift their clocks for daylight savings time. Buckets close to the moment when those changes happen can have slightly different sizes than you would expect from the calendar_interval or fixed_in..
Transparent Data Encryption - 데이터 저장 시 암호화해서 저장합니다. (공식문서 링크) 원하는 Table만 암호화 할 수도 있고 테이블 마다 다른 암호화 키를 사용할 수 있으며 DB 전체, 그리고 로그도 선택적으로 암호화 할 수 있습니다. MariaDB에서는 암호화 키를 지원하는 세 가지의 plugin이 있습니다. File Key Management Encryption Plugin(파일 키 관리 암호화 플러그인) 키 파일은 MariaDB 서버 자체 내에 저장됩니다. 가장 좋은 방법은 키 파일을 서버의 일부가 아닌 별도의 마운트에 보관하는 것입니다. AWS Key Management Encryption Plugin(AWS 키 관리 암호화 플러그인) 키 파일은 AWS에 저장되고 AWS..
복사/붙여넣기 하면 인스톨이 완료됩니다. 꼬꼬 !!! > sudo apt update && sudo apt -y upgrade > curl -LsS https://downloads.mariadb.com/MariaDB/mariadb_repo_setup | sudo bash -s -- --mariadb-server-version=11.0 > sudo apt update > sudo apt -y install mariadb-server mariadb-client > sudo mariadb-secure-installation # root 비번 변경 [port 변경] > sudo vi /etc/mysql/my.cnf > [client-server] > port=3306 > ... [외부 접속 허용, datadir..