반응형

AWS 29

Elasticsearch snapshot - AWS S3 에러 유형 공유

신규 노드를 추가하면서 elasticsearch에 repository-s3 plug-in 설치 하는걸 잊어 버렸더니 아래와 같은 에러가 발생하기 시작했습니다. { "snapshot" : { "snapshot" : "snapshot_name", "uuid" : "vQeYKiYaTaq0rOiGXbjQEQ", "version_id" : 7110099, "version" : "7.11.0", "indices" : [ "my_index" ], "data_streams" : [ ], "include_global_state" : true, "state" : "PARTIAL", "start_time" : "2021-06-09T05:57:10.373Z", "start_time_in_millis" : 16232182303..

위도 경도 값 찾기

AWS Region 들의 위치를 지도상에 표기하려 위도 경도 값이 필요해 찾던 중 기록을 위해 글을 남겨둡니다. 일단 각 리전의 위치는 아래 링크에 나와 있습니다. docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/using-regions-availability-zones.html#concepts-available-regions 리전 및 영역 - Amazon Elastic Compute Cloud 리전 및 영역 Amazon EC2는 세계 각지의 여러 곳에서 호스팅되고 있습니다. 이 위치는 리전, 가용 영역, 로컬 영역, AWS Outposts 및 Wavelength Zones로 구성됩니다. 각 리전은 개별 지리 영역입니다. 가용 docs.aws.amazon.com ..

AWS SDK(cpp/c#/js) - Kinesis에 데이터 전송하고 Logstash로 받기

이전에 SQS로 데이터를 보내는 방법을 기록해 보았는데, 이번에는 유사한 kinesis로 데이터를 보내는 과정을 살펴보겠습니다. SQS는 Queue 서비스로 Application 통합, 분산 시스템 연계에 적합하며, Kinesis는 로그, 스트림 데이터 등의 실시간 분석, 전송 목적에 적합합니다. Kinesis Data Streams 생성 데이터 스트림 중 Kinesis Data Streams를 선택 후 생성을 합니다. 저는 어플리케이션의 로그를 전송하고 추후 이를 logstash로 가져와 별도 구축된 Elasticsearch에 저장하기 위해 사용하기 때문에 Kinesis Data Streams를 사용합니다. 생성할 스트림 이름은 "test_stream"으로 명명합니다. 데이터 스트림 용량을 설정할 때 ..

윈도우 Logstash 에서 Kinesis 연동하기

일반적으로 linux에서 logstash를 운영하지만 테스트를 위해 windows에서 실행해 봤습니다. AWS 계정 설정 c:\users\사용하는계정\.aws에 config , credentials 파일을 생성합니다. config파일에는 아래와 같이 default resion을 설정합니다. [default] region = ap-northeast-2 credentials 파일에는 kinesis에 접근 가능한 인증정보를 삽입합니다. [default] aws_access_key_id = access_key_id_from_iam_account aws_secret_access_key = access_key_id_from_iam_account kinesis 플러그인 설치 logstash 플러그인 툴로 아래와 같이..

S3에 스냅샷 생성 및 복원

Elasticsearch 7.11.0 On Premise 환경에서 AWS S3 에 스냅샷을 생성하는 내용을 정리해 보았습니다. Cloud 환경에서는 조금 다를 수 있으니 참고하세요. 아래 내용은 www.elastic.co/guide/en/elasticsearch/plugins/7.11/repository-s3.html#repository-s3-install의 내용을 참고해서 정리했습니다. 이해를 돕기 위해 이미지가 많이 첨부된 관계로 서술형 문체보다는 간략히 요점만 정리했습니다. 아래와 같은 순서로 정리되어 있습니다. 1. AWS S3 플러그인 설치 2. AWS S3에 스냅샷 저장소 생성 3. Kibana에 AWS S3 저장소 등록 4. 스냅샷 생성/복구하기 5. 검색 가능한 스냅샷 설정 1. AWS S..

AWS S3 API 사용을 위한 권한 설정 관련

ListObjects/ListObjectsV2 API 사용 설정에 대한 주의 사항 S3 Bucket 접근 시 권한을 설정할 때 Bucket에 대한 권한인지 Object에 대한 권한인지에 따라 아래 스샷처럼 별도 설정이 필요하다. 위의 제목에서 보듯이 ListObjects 라고 명명된 API지만 작업 목록에 ListObjects라는 권한은 존재하지 않으며, ListBucket 권한을 할당해야 정상적으로 사용 가능하다. 이에 대한 상세한 내용은 이 링크를 참고하기 바란다. ListBucket 이라는 API가 별도 존재하기 때문에 혼동될 수 있으니 주의가 필요하다. 이렇게 설정되지 않으면 Access Denied 에러를 볼 수 있으며, ListBucket 권한을 GetObject와 같이 설정하면 (위 스샷의 ..

EBS Volume 확장하기

https://aws.amazon.com/ko/blogs/korea/amazon-ebs-update-new-elastic-volumes-change-everything/ Amazon EBS 업데이트 – 언제나 자유롭게 볼륨 유형 및 크기 변경 가능 | Amazon Web Services AWS 고객은 서비스를 시작한 후, 사용자 트래픽 및 데이터 사이즈가 증가함에 따라 기존 볼륨을 수정하여 용량을 추가하거나 I/O 성능 특성을 변경해야 할 경우가 생깁니다. 이를 변경하기 위해, 2 aws.amazon.com https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/recognize-expanded-volume-linux.html 볼륨 크기 조정 후 Linux..

EC2 인스턴스 관리를 위해 사전 작업들

>> EPEL(Extra Packages for Enterprise Linux) 저장소 활성화하기 https://aws.amazon.com/ko/premiumsupport/knowledge-center/ec2-enable-epel/ >> 원격접속을 위한 키 발급 및 설정 EC2는 기본적으로 생성 시 발급한 공개키를 사용하여 원격접속 할 수 있도록 설정되어 있습니다. EC2에 키 페어를 설정하는 방법은 아래와 같습니다. EC2 생성 전에 키 페어로 가서 ... "키 페어 생성" 버튼을 눌러 ppk를 생성합니다. 이때 비번 설정은 없으니 참고하세요. EC2 기본 설정을 완료 후 시작을 누르면 키 페어 설정 화면이 나옵니다. 여기서 새로 생성할 수도 있으며 생성된 키 페어를 설정할 수 있습니다. 키 페어가 변..

EC2에서 ElastiCache-Redis에 접속하기

Redis와 같은 VPC 안에 EC2를 생성했다고 가정합니다. 다른 VPC에 있을 경우 VPC Peering 설정이 필요하며 이 내용은 곧 다시 업로드할 예정입니다. 일단 EC2에 redis-cli 설치를 위해 gcc를 설치합니다. redis를 별도 설치해되 되지만 ec2 에서는 redis-cli만 사용할 예정이니 redis 자체 설치를 하는 방법은 사용하지 않겠습니다. sudo yum install -y gcc redis-stable 버전을 다운받아 빌드를 해야 하니 임시 폴더 혹은 프로그램 빌드를 위한 별도 폴더를 만들어 작업하실것을 추천드립니다. wget http://download.redis.io/redis-stable.tar.gz && tar xvzf redis-stable.tar.gz && c..

서버리스 서비스 예제 - 04 [S3 정적 웹사이트에 https 적용하기]

S3에 생성한 정적 웹사이트는 http로 만들어진 endpoint로 접속이 가능합니다. 사용자들의 보다 안전한 접속을 보장하기 위해 https를 적용하는 방법을 알아보겠습니다. 여담인데 S3에 있는 각각의 파일은 https로 접근이 됩니다. 그런데 정적 웹사이트는 https를 기본으로 지원되는지 않습니다. https에는 공급자에 대한 정보가 있어야 하지만 s3의 정적 웹 사이트는 사용자 도메인없이 제공되는 웹 사이트이기 때문에 제공되는 컨텐츠 자체의 책임 권한 문제 때문이지 않을까 생각됩니다. (혹시 정확히 아시는 분은 댓글 부탁드립니다.) 기존 사용하던 도메인의 서브 도메인이므로 기존 등록기관을 이용할 수 있을까 했는데 IP가 없고 endpoint만이 존재하기 때문에 불가합니다. 이를 위해 ACM(AW..

반응형