윈도우 Logstash 에서 Kinesis 연동하기

일반적으로 linux에서 logstash를 운영하지만 테스트를 위해 windows에서 실행해 봤습니다.

 

AWS 계정 설정

c:\users\사용하는계정\.aws에 config , credentials 파일을 생성합니다.

 

config파일에는 아래와 같이 default resion을 설정합니다.

[default]
region = ap-northeast-2

credentials 파일에는 kinesis에 접근 가능한 인증정보를 삽입합니다.

[default]
aws_access_key_id = access_key_id_from_iam_account
aws_secret_access_key = access_key_id_from_iam_account

 

kinesis 플러그인 설치

logstash 플러그인 툴로 아래와 같이 설치할 수 있습니다.

 

bin/logstash-plugin install logstash-input-kinesis

logstash의 logstash.yml 옵션 중 리로드 옵션을 아래와 같이 활성화 합니다. 테스트를 위해 config 파일 수정 후 재시작할 필요없이 자동 갱신하도록 합니다.

.
.
config.reload.automatic: true
config.reload.interval: 5s
.
.

 

conf 파일 설정

config파일은 아래와 유사하게 설정하시면 됩니다. 이름은 kinesis_pipeline.conf로 저장한다고 가정하겠습니다.

input {
  kinesis {
    kinesis_stream_name => "kinesis_to_es"
    region => "ap-northeast-2"
    codec => json { }
  }
}

output {
  elasticsearch {
    hosts => ["http://x.x.x.x:9200"]
    index => "test-%{+YYYY.MM.dd}"
    #user => id
    #password => pw
  }
}

 

실행

테스트 용이라 config 파일의 잦은 수정/변경이 있을 수 있어 pipelines.yml 사용없이 command에 config파일명을 옵션으로 지정합니다. 윈도우에서는 /bin/logstash.bat 배치 파일로 실행 가능합니다.

.\bin\logstash.bat --path.data ./data -f .\config\kinesis_pipeline.conf

 

기존에는 linux에서만 사용했었는데, 테스트를 위해 제 개발 PC에 설치/테스트를 위해 작업하면서 같이 간단히 정리해 보았습니다.

 

 

참고할 사항들

• logstash를 처음 실행하기 전 kinesis의 데이터는 읽어오지 않습니다.
• 한 번 실행되면 마지막 읽어온 데이터 id를 기억합니다. 이후 logstash가 중지될 경우 마지막 읽어온 데이터 id를 기준으로 이후 데이터를 모두 읽어옵니다.
• kinesis에서 특별한 설정을 하지 않았다면 하루가 지난 데이터는 모두 삭제됩니다. 중요하다면 별도 보관 일자를 설정해야 하며, 7일 보관을 기준으로 70~80% 정도의 비용이 증가합니다.
• SQS 등의 큐 서비스와 달리 kinesis에 기록된 데이터는 지정한 기일이 지나기 전에는 record를 읽어와도 삭제되지 않습니다.