가끔 보자, 하늘.

Elastic도 꾸준하네요. 저는 Data Platform에만 사용하고 있는데 VectorDB 이외의 어떤 기능들이 있고 AI에 어떻게 사용할 수 있는지 살펴봐야겠군요.+_+ https://www.elastic.co/kr/virtual-events/elasticon-ai

Data pipeline 을 AWS로 마이그레이션 하려고 관련 제품들을 살펴보는 중입니다. 기존 프로세스를 어떻게 AWS로 가져올지를 검토하기 위해 알아볼 겸 간단히 정리해 보겠습니다. 현재는 각종 서비스의 데이터를 가져오기 위해 시기에 따라 제작하여 운영해오고 있었기 때문에 서비스 별로 서로 다른 pipeline을 사용하고 있습니다. 예를들어 데이터 수집을 위한 (1) 전용 api server를 만들고, (2) 데이터 손실 방지를 위해 redis에 일정 기간 저장/백업 후 자동 삭제, (3) 이를 logstash로 정기적으로 가져와 (4) Elasticsearch에 저장, 다시 이를 (5) DW에 가공하여 저장, 일부는 실시간 지표 확인을 위해 (6) S3에 저장, 모바일/웹에서 (7) 뷰어를 제공해 ..

어쩌다 연동이 필요해서 써봤는데, 국내 커뮤니티도, 국내 세일즈 회사의 서포트도 빈약하네요. 많이 안쓰시는 듯 ... 혹시 필요하신 분 있을까봐 남겨봅니다. 공식 메뉴얼 링크 , Slack Community (필요한건 여기가서 검색하거나 문의하는게 가장 빠른 듯 합니다.) reactjs에 설치한 예 입니다. 1. package 설치 npm install --save mixpanel-browser 2. import import mixpanel from 'mixpanel-browser'; 3. 초기화 mixpanel.init('YOUR_TOKEN', {ip:false, debug: true}); https://developer.mixpanel.com/docs/javascript-full-api-referen..

개발, 테스트 및 라이브 환경에서 손쉽게 관리, 배포 할 수 있도록 환경 변수를 많이 사용합니다. React에서는 .env로 명명된 파일에서 REACT_APP_ 이라는 prefix가 붙은 key,value값을 기본적으로 읽어옵니다. 이를 이용해 어떻게 각 운영 환경별로 설정 한 후 코드 혹은 값 변경없이 운영이 가능한지 알아보겠습니다. 아래 예제에서는 개발, 라이브 운영 환경을 운영해야 하며, 개발 환경은 자신의 PC에서 가동되며, 라이브 환경은 DOCKER - ubuntu로 빌드되어 가동되며, 운영 환경에 따라 DB IP와 PORT가 달라진다고 가정하겠습니다. 개발 환경을 위해 .env 파일에 아래와 같이 정의합니다. REACT_APP_DB_IP=192.168.0.10 REACT_APP_DB_PORT=..

(ELK 7.2 버전에서 테스트 되었습니다.) 이미 logstash와 elasticsearch가 설치되어 있다고 가정하고 진행하겠습니다. 7.x에 적용된 SQS plugin 3.x 버전은 logstash 5.0부터 적용되었으니 5.0 미만 버전 사용자분은 공식 문서를 참고하시기 바랍니다. https://www.elastic.co/guide/en/logstash/current/plugins-inputs-sqs.html Sqs input plugin | Logstash Reference [7.5] | Elastic Plugin version: v3.1.2 Released on: 2018-11-12 Changelog For other versions, see the Versioned plugin docs. F..

ES에서 제공하는 결과물은 대부분 멋지지만 가끔 odbc의 기능들이 필요한 경우가 있다. (X-pack을 사용하면 sql like query가 가능하지만 비용이 ..) kibana 등에서는 결과를 실시간 쿼리를 통해 보기 때문에 반응성이 항상 아쉽다. 이런 저런 이유로 리포트용 솔루션을 별도 구축하게 되었다. 만드는 김에, 일부 sql query가 필요한 경우를 위해, 필요한 로그들을 ES로 보냈다가 가져오기는 추가적인 절차가 필요해서, logstash에서 ES로 보내면서 필요한 일부분만 바로 mysql에 직접 보내기로 했다. 플러그인을 만들어야 하나 찾아보니... https://www.elastic.co/guide/en/logstash/current/input-plugins.html >> input에는..