가끔 보자, 하늘.

뭔가 실수로 transaction log가 백업되지 않아 커지는 문제가 발생했다면 ldf 파일을 강제로 줄이는 방법이 있습니다. 2008 버전 정도에서는 backup log [db명] with truncate_only 라는 쿼리를 실행해 ldf 파일을 비울 수 있습니다. 만약 truncate_only' is not a recognized backup option 라는 오류가 발생하는 버전이라면 backup log [db명] to disk='null' 이라는 쿼리를 실행해 ldf 파일을 비울 수 있습니다. 간혹 백업 처리 과정마저도 문제가 발생하는 경우는 Database 백업 모드를 simple로 조정 후 shrinkfile('db log logical name' , 1) 이라는 쿼리를 실행하면 log 파..

Data pipeline 을 AWS로 마이그레이션 하려고 관련 제품들을 살펴보는 중입니다. 기존 프로세스를 어떻게 AWS로 가져올지를 검토하기 위해 알아볼 겸 간단히 정리해 보겠습니다. 현재는 각종 서비스의 데이터를 가져오기 위해 시기에 따라 제작하여 운영해오고 있었기 때문에 서비스 별로 서로 다른 pipeline을 사용하고 있습니다. 예를들어 데이터 수집을 위한 (1) 전용 api server를 만들고, (2) 데이터 손실 방지를 위해 redis에 일정 기간 저장/백업 후 자동 삭제, (3) 이를 logstash로 정기적으로 가져와 (4) Elasticsearch에 저장, 다시 이를 (5) DW에 가공하여 저장, 일부는 실시간 지표 확인을 위해 (6) S3에 저장, 모바일/웹에서 (7) 뷰어를 제공해 ..