일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |
- 설정
- nodejs
- MSSQL
- ChatGPT
- MySQL
- mariadb
- 구글
- unity
- logstash
- Windows
- 유니티
- docker
- build
- s3
- elasticsearch
- Ai
- JS
- API
- Kibana
- ssh
- Linux
- JavaScript
- error
- Python
- sample
- AWS
- 영어
- React
- SSL
- Today
- Total
목록개발 이야기 (309)
가끔 보자, 하늘.
> lsblk # 물리장치, 장치 별 파티션 정보 확인 > lsblk -d -o name,rota # rota 가 0이면 ssd, 1이면 hdd > blkid # 파일 시스템 종류 확인하기 > fdisk /dev/sdX # X는 lsblk에서 확인한 device 값을 입력 > n # add a new partition > p # partition type : primary > 1 # 파티션 개수 > 2048 # first sector > [last_sector_value] # last sector number > p # 설정 내용 확인하기 > w # 설정값 저장 및 종료 > mkfs.xfs /dev/sdX1 # xfs는 16TB 이상의 대용량 disk에 적합함. 아니라면 ext4로 .. > mkdir /..
최신 버전 테스트 할 일이 있어서 windows 11에서 Elasticsearch, Kibana 를 Docker에서 테스트하면서 정리했습니다. 우선 Docket Desktop을 설치합니다. 그리고 docker image에서 Elasticsearch를 검색해 공식 이미지를 내려받습니다. 저는 es 8.10.1 버전을 다운 받았습니다. 현재 공식 이미지의 OS는 ubuntu 20.04 버전이며, max_map_count를 같이 수정해야 합니다. 원래 linux 시스템에서는 sysctl 이나 /etc/sysctl.conf에서 수정하면 되는데 windows 에서 docket desktop으로 실행할 때는 wslconfig 파일을 만들어서 설정해두는게 좋습니다. 설정하지 않고 도커 이미지를 실행하면 "max vi..
dmidecode 혹시 lshw 두 가지를 주로 사용합니다. lshw는 일반유저로도 일부 정보는 볼 수 있으나 상세한 확인을 위해서는 둘 다 super user 계정 혹은 sudo로 실행하세요. CPU 정보 > lscpu 혹은 > dmidecode -t processor 마더보드 > dmidecode -t baseboard 메모리 > dmidecode -t memory 저장매체 # 물리장치, 장치 별 파티션 정보 확인 > lsblk # rota 가 0이면 SSD , 1이면 HDD > lsblk -d -o name,rota # 볼륨그룹 정보 조회 > vgs # 논리볼륨 정보 조회 > lvs # 사용량 상세 정보 조희 > df -h # 폴더별 용량 조희 > du -hs 폴더명 그래픽 카드 > lshw -C ..
얼마 전 Meta에서 Audiocraft를 공개했습니다. 더보기 Audiocraft는 딥러닝을 통한 오디오 처리 및 생성을 위한 라이브러리입니다. 이 라이브러리에는 텍스트 및 멜로디 컨디셔닝 기능을 갖춘 간단하고 제어 가능한 음악 생성 LM인 MusicGen과 함께 최첨단 EnCodec audio compressor, tokenizer가 탑재되어 있습니다. 샘플 사운드 제작할 때 좋을 듯 해서 사내에 설치해 보았습니다. SD WEBUI처럼 Audiocraft를 fork해 제작된 Audiocraft_plus 를 사용해 손쉽게 설치/사용 할 수 있습니다. (Audiocraft_plus는 아직 초기 단계로 Audiocraft가 지원하는 기능 중 일부만 지원하는 프로젝트입니다.) 우선 해당 github page..
운영하는 인프라 중 elasticsearch가 있다. 심지어 버전은 7.11. 5개 node를 운영하고 있으며, 일 데이터가 7GB 정도 누적된다. 오래된 데이터를 자동으로 S3로 백업되면서 용량 이슈도 거의 없어 최근에 2년 정도는 손 댄 기억이 거의 없었다. (* 최근 여러 서비스의 data pipeline을 통합하려고 aws glue, athena, quicksight로 통합하려고 보고 있는데 가성비가 es를 따라가기는 어려울 것으로 판단된다. 이거 다음에 이야기할 기회가 있을 듯 하고.. 어쨌든 PB 운영 용량이 아니면 거의 문제없을 정도로 뛰어난 제품이다.) node 중 하나가 갑자가 샤드 할당에 문제가 발생한 듯 보였다. 현상은 아래와 같았다. Kibana에서 확인하니 Status 이미 yel..
진행 순서는 "wsl2 활성화 및 linux 설치" -> "기본 시스템 설정"-> "nvidia-docker 설치" 입니다. 윈도우에서 nvidia cuda 및 toolkit은 설치되어 있는 상태라고 가정하게 정리했습니다. 아래 내용을 쭈~~~ㄱ 따라하시면 됩니다. 서술할 내용들이 많이는 없네요. 혹시 보시고 궁금한 내용이 있으면 댓글 남겨두세요. :) [기본 설치] * powershell 관리자 모드로 실행 * Windows Subsystem for Linux 기능 활성화 > dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart * Virtual Machine feature 활성화 > ..
얼마 전 Kohya를 이용해 학습하는 메뉴얼을 사내에 뿌려보았으나 아무도 안씀. -_-a 이전 글을 보시거나 이미지 학습을 수행해 보신 분들은 아시겠지만 알아야 할 설정값이 너무 많았습니다. 툴 설치나 관리도 문제고... 이대로는 아무도 안쓸 것 같아 (#4에서는 colab으로 학습하는 방법을 로컬에서 사용할 수 있게 변경해서 다시 글을 올려보겠습니다. 라고 이미 계획은 있었지만 ) 그냥 실행파일 하나 돌리면 LoRA 파일이 생성되도록 다시 작업을 했습니다. 소스코드만 필요하신 분들은 깃헙에서 바로 코드를 확인하실 수 있습니다. 학습에 필요한 각종 파라미터의 상세한 설명은 #3에서 충분히 설명했으니 이곳에서는 windows os에 nvidia 그래픽 카드를 가진 시스템에서 손쉽게 학습할 수 있는 시스템을..
뭔가 실수로 transaction log가 백업되지 않아 커지는 문제가 발생했다면 ldf 파일을 강제로 줄이는 방법이 있습니다. 2008 버전 정도에서는 backup log [db명] with truncate_only 라는 쿼리를 실행해 ldf 파일을 비울 수 있습니다. 만약 truncate_only' is not a recognized backup option 라는 오류가 발생하는 버전이라면 backup log [db명] to disk='null' 이라는 쿼리를 실행해 ldf 파일을 비울 수 있습니다. 간혹 백업 처리 과정마저도 문제가 발생하는 경우는 Database 백업 모드를 simple로 조정 후 shrinkfile('db log logical name' , 1) 이라는 쿼리를 실행하면 log 파..