가끔 보자, 하늘.

운영하는 인프라 중 elasticsearch가 있다. 심지어 버전은 7.11. 5개 node를 운영하고 있으며, 일 데이터가 7GB 정도 누적된다. 오래된 데이터를 자동으로 S3로 백업되면서 용량 이슈도 거의 없어 최근에 2년 정도는 손 댄 기억이 거의 없었다. (* 최근 여러 서비스의 data pipeline을 통합하려고 aws glue, athena, quicksight로 통합하려고 보고 있는데 가성비가 es를 따라가기는 어려울 것으로 판단된다. 이거 다음에 이야기할 기회가 있을 듯 하고.. 어쨌든 PB 운영 용량이 아니면 거의 문제없을 정도로 뛰어난 제품이다.) node 중 하나가 갑자가 샤드 할당에 문제가 발생한 듯 보였다. 현상은 아래와 같았다. Kibana에서 확인하니 Status 이미 yel..

진행 순서는 "wsl2 활성화 및 linux 설치" -> "기본 시스템 설정"-> "nvidia-docker 설치" 입니다. 윈도우에서 nvidia cuda 및 toolkit은 설치되어 있는 상태라고 가정하게 정리했습니다. 아래 내용을 쭈~~~ㄱ 따라하시면 됩니다. 서술할 내용들이 많이는 없네요. 혹시 보시고 궁금한 내용이 있으면 댓글 남겨두세요. :) [기본 설치] * powershell 관리자 모드로 실행 * Windows Subsystem for Linux 기능 활성화 > dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart * Virtual Machine feature 활성화 > ..

얼마 전 Kohya를 이용해 학습하는 메뉴얼을 사내에 뿌려보았으나 아무도 안씀. -_-a 이전 글을 보시거나 이미지 학습을 수행해 보신 분들은 아시겠지만 알아야 할 설정값이 너무 많았습니다. 툴 설치나 관리도 문제고... 이대로는 아무도 안쓸 것 같아 (#4에서는 colab으로 학습하는 방법을 로컬에서 사용할 수 있게 변경해서 다시 글을 올려보겠습니다. 라고 이미 계획은 있었지만 ) 그냥 실행파일 하나 돌리면 LoRA 파일이 생성되도록 다시 작업을 했습니다. 소스코드만 필요하신 분들은 깃헙에서 바로 코드를 확인하실 수 있습니다. 학습에 필요한 각종 파라미터의 상세한 설명은 #3에서 충분히 설명했으니 이곳에서는 windows os에 nvidia 그래픽 카드를 가진 시스템에서 손쉽게 학습할 수 있는 시스템을..

뭔가 실수로 transaction log가 백업되지 않아 커지는 문제가 발생했다면 ldf 파일을 강제로 줄이는 방법이 있습니다. 2008 버전 정도에서는 backup log [db명] with truncate_only 라는 쿼리를 실행해 ldf 파일을 비울 수 있습니다. 만약 truncate_only' is not a recognized backup option 라는 오류가 발생하는 버전이라면 backup log [db명] to disk='null' 이라는 쿼리를 실행해 ldf 파일을 비울 수 있습니다. 간혹 백업 처리 과정마저도 문제가 발생하는 경우는 Database 백업 모드를 simple로 조정 후 shrinkfile('db log logical name' , 1) 이라는 쿼리를 실행하면 log 파..

Data pipeline 을 AWS로 마이그레이션 하려고 관련 제품들을 살펴보는 중입니다. 기존 프로세스를 어떻게 AWS로 가져올지를 검토하기 위해 알아볼 겸 간단히 정리해 보겠습니다. 현재는 각종 서비스의 데이터를 가져오기 위해 시기에 따라 제작하여 운영해오고 있었기 때문에 서비스 별로 서로 다른 pipeline을 사용하고 있습니다. 예를들어 데이터 수집을 위한 (1) 전용 api server를 만들고, (2) 데이터 손실 방지를 위해 redis에 일정 기간 저장/백업 후 자동 삭제, (3) 이를 logstash로 정기적으로 가져와 (4) Elasticsearch에 저장, 다시 이를 (5) DW에 가공하여 저장, 일부는 실시간 지표 확인을 위해 (6) S3에 저장, 모바일/웹에서 (7) 뷰어를 제공해 ..

'썰!'이라고 쓴건 그냥 해프닝 정도라.. 그래도 기록으로 남겨두면 좋을 듯 해서 공유합니다. 브끄럽네요. 이미 web ui를 로컬에 설치해서 사용중이었으며, extension DDSD(https://github.com/NeoGraph-K/sd-webui-ddsd)를 추가 설치하려고 했습니다. 시작은 이 에러! File ".....\venv\lib\site-packages\groundingdino\models\GroundingDINO\ms_deform_attn.py", line 53, in forward output = _C.ms_deform_attn_forward( NameError: name '_C' is not defined ms_deform_attn.py를 확인하니 위 에러의 출처는 이 곳! tr..

LLM 관련해서 흥미있게 보고 있는데, NLP 개발자가 아니라 LLM 관련 용어들이 꽤 생소하여 관련 글을 보면서 이해가 안되는 부분이 꽤 있더군요. 그래서 ChatGPT를 중심으로 LLM에서 주로 사용되는 용어들을 가능한 쉽게 정리해 봤습니다. 일부는 ChatGPT에게, 일부는 구글링하면서 정리했습니다. 혹시 잘못된 부분이 있다면 댓글 부탁드립니다. LLM의 최근 역사 2017년 구글에서 발표한 Transformer 모델은 순차 데이터를 학습할 수 있는 신경망으로 LLM이 대두하는 계기가 되었습니다. 2018년 말 구글에서 발표한 BERT(Pre-traning of Deep Bidirectional Encoder Representations from Transformers)는 NLP 벤치마크에서 신기록..

Cloud Agent Error: Request is taking longer than 30 seconds to fulfill. Use another agent to send a request without time limitations. Postman website에서 원하는 서버로 request 시 위와 같은 오류가 발생합니다. request 시 Postman website에서 localhost 로 요청을 보내려고 시도하므로 오류가 발생합니다. 그래서 postman client를 local에 설치해서 시도하면 문제없이 request 되는 것을 확인할 수 있습니다.