Jang's coding blog

AWS Glue란 ?AWS Glue는 사용자가 여러 소스의 데이터를 쉽게 검색, 준비, 이동, 통합할 수 있도록 하는 서버리스 데이터 통합 서비스중앙 집중식 데이터 카탈로그에서 데이터를 관리할 수 있습니다. 추출, 변환, 로드(ETL) 파이프라인을 시각적으로 생성, 실행, 모니터링하여 데이터 레이크에 데이터를 로드할 수 있다.AWS Glue 특징ETL(Extract, Transform, Load) 툴이다.Serverless이기 때문에 운영 부담이 줄고, 데이터의 전처리를 쉽고 빠르게 한다.기본적으로 ETL을 통해서 데이터를 Data Lake(i.e. S3)나 Data Warehouse(i.e. Redshift)에 이동시킨다.Glue는 ETL 작업을 스케줄링하는 기능을 제공한다. 특정 시간이나 이벤트에 따..

Labmda 에 VPC를 연결하게 되면 기본적으로는 Internet에 접근할 수 없게 되어있다.이것을 해결하기 위해 Nat gateway를 설정해서 이 문제를 해결할 수 있다.가용성을 생각해서 만들기 위해 public subnet 2개, private subnet 2개를 할당하였다. #Vpc.tf#vpc 생성resource "aws_vpc" "capstone_vpc" { cidr_block = "10.10.0.0/16" tags ={ Name="capstone_vpc" }}#public subnet, private subnet 생성resource "aws_subnet" "public_subnet_1a" { vpc_id = aws_vpc.capstone_vpc.id cidr_b..

1. SQS 권한설정 { "Version": "2012-10-17", "Id": "example-ID", "Statement": [ { "Sid": "example-statement-ID", "Effect": "Allow", "Principal": { "Service": "s3.amazonaws.com" }, "Action": [ "SQS:SendMessage" ], "Resource": "sqs의 arn을 여기에 붙여넣기 ", "Condition": { "ArnLike": { "aws:SourceArn": "여기에 버킷의 arn을 붙여넣기" }, "StringEquals": { "aws:SourceAccount": "aws account-id를 여기에 붙여넣기" } } } ] } 가이드 링크: http..

RDS OLTP → 규모가 작은 데이터를 사용시 유용 OLAP → 매우 큰 데이터를 불러올 떄 사 RDS 백업 기능 AB →자동 백업 그날 생성된 스냅샷을 참고하여 생성 (약간의 지연 존재 가능) DB 스낵샷 → 원본 인스턴스를 삭제해도 스냅샷이 존재 (AB와는 다름) 원본 백업 엔드포인트 → original , 백업 엔드포인트는 → restored가 있다. [ ] Multi AZ 원래 있는 DB에 변화가 생길때 복제본이 만들어지며 자동으로 관리가 이루어짐 DB가 문제가 생기면 자동으로 다른 복제본을 사용 성능개선을 위해서 사용하는것은 아님 [ ] Read Replica 읽기 전용 복제본이 생성 읽는 작업시 효율성을 극대화 할 수 있음 최대 5개까지 생성 가능하다 Read Replica 의 Read Re..