가끔 보자, 하늘.

얼마 전 Meta에서 Audiocraft를 공개했습니다. 더보기 Audiocraft는 딥러닝을 통한 오디오 처리 및 생성을 위한 라이브러리입니다. 이 라이브러리에는 텍스트 및 멜로디 컨디셔닝 기능을 갖춘 간단하고 제어 가능한 음악 생성 LM인 MusicGen과 함께 최첨단 EnCodec audio compressor, tokenizer가 탑재되어 있습니다. 샘플 사운드 제작할 때 좋을 듯 해서 사내에 설치해 보았습니다. SD WEBUI처럼 Audiocraft를 fork해 제작된 Audiocraft_plus 를 사용해 손쉽게 설치/사용 할 수 있습니다. (Audiocraft_plus는 아직 초기 단계로 Audiocraft가 지원하는 기능 중 일부만 지원하는 프로젝트입니다.) 우선 해당 github page..

운영하는 인프라 중 elasticsearch가 있다. 심지어 버전은 7.11. 5개 node를 운영하고 있으며, 일 데이터가 7GB 정도 누적된다. 오래된 데이터를 자동으로 S3로 백업되면서 용량 이슈도 거의 없어 최근에 2년 정도는 손 댄 기억이 거의 없었다. (* 최근 여러 서비스의 data pipeline을 통합하려고 aws glue, athena, quicksight로 통합하려고 보고 있는데 가성비가 es를 따라가기는 어려울 것으로 판단된다. 이거 다음에 이야기할 기회가 있을 듯 하고.. 어쨌든 PB 운영 용량이 아니면 거의 문제없을 정도로 뛰어난 제품이다.) node 중 하나가 갑자가 샤드 할당에 문제가 발생한 듯 보였다. 현상은 아래와 같았다. Kibana에서 확인하니 Status 이미 yel..

진행 순서는 "wsl2 활성화 및 linux 설치" -> "기본 시스템 설정"-> "nvidia-docker 설치" 입니다. 윈도우에서 nvidia cuda 및 toolkit은 설치되어 있는 상태라고 가정하게 정리했습니다. 아래 내용을 쭈~~~ㄱ 따라하시면 됩니다. 서술할 내용들이 많이는 없네요. 혹시 보시고 궁금한 내용이 있으면 댓글 남겨두세요. :) [기본 설치] * powershell 관리자 모드로 실행 * Windows Subsystem for Linux 기능 활성화 > dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart * Virtual Machine feature 활성화 > ..

얼마 전 Kohya를 이용해 학습하는 메뉴얼을 사내에 뿌려보았으나 아무도 안씀. -_-a 이전 글을 보시거나 이미지 학습을 수행해 보신 분들은 아시겠지만 알아야 할 설정값이 너무 많았습니다. 툴 설치나 관리도 문제고... 이대로는 아무도 안쓸 것 같아 (#4에서는 colab으로 학습하는 방법을 로컬에서 사용할 수 있게 변경해서 다시 글을 올려보겠습니다. 라고 이미 계획은 있었지만 ) 그냥 실행파일 하나 돌리면 LoRA 파일이 생성되도록 다시 작업을 했습니다. 소스코드만 필요하신 분들은 깃헙에서 바로 코드를 확인하실 수 있습니다. 학습에 필요한 각종 파라미터의 상세한 설명은 #3에서 충분히 설명했으니 이곳에서는 windows os에 nvidia 그래픽 카드를 가진 시스템에서 손쉽게 학습할 수 있는 시스템을..