용어) EMR : EMR 클러스터를 생성하여 코드 실행한다. 학습 모델 코딩시 집중해서 계속 작업하는 용도이다. 비용보다는 작업 효율에 집중할 때 사용한다.

용어) EMR Serverless : 코드 실행시에 EMR 클러스터를 할당 받아서 코드 실행하고 종료후 클러스터를 종료한다. 즉, 가끔 인퍼런스 돌릴 때 사용하면 비용 절감에 효과적이다.

1) EMR 설정

쥬피터 포함.

[이름 및 애플리케이션]

- 이름 : project.emr.cluster

- Amazon EMR Release : 최신 ( 2024/6/11현재 emr-7.1.0)

- 애플리케이션 번들 : Spark Interactive 선택 후 Jupyter Hub 1.5.0 추가 체크하면, 자동으로 Custom 으로 변경됨.

( Hadoop, Hive, JupyterEnterpriseGateway 2.6.0, JupyterHub 1.5.0, Livy, Spark, 옵션으로 Tensorflow )

[클러스터구성]

균일한 인스턴스 그룹

- 프라이머리 : m5.xlarge : 이건 작업에 맞춰 서버 스펙을 키울 것.

- 코어 : m5.xlarge : 이건 작업에 맞춰 서버 스펙을 키울 것.

- EBS 루트 볼륨 : 크기 - 15 ( 이건 작업할 파일 사이즈에 맞춰 키워야 될 수도 있음. 작업하면서 맞춰 볼것 )

[클러스터 크기 조정 및 프로비저닝]

- 옵션 : 수동으로 클러스터 크기 조정

- 구성 프로비저닝 : 인스턴스 크기 : 2 ( 이건 작업에 따라 조정할 것 ). 이걸 2로 맞추면 "프라이머리 m5.xlarge EC2 한 대" + "코어 m5.xlarge EC2 2 대" = 총 3대의 EC2 가 생성됨.

[네트워킹]

자신의 네트워크 설정

[클러스터 종료 및 노드 교체]

- 종료 옵션 : 유휴 시간 : 3시간

- 비정상 노드 교체 : 켜기

[클러스터 로그]

- s3 에 작업 폴더 아래에 로그 폴더 만들어서, s3://uri/workfolder/logfolder 등록

[Identity and Access Management(IAM)]

- Amazon EMR 서비스 역할 : 서비스 역할 생성

- 보안그룹 : 내 보안 그룹 선택

- Amazon EMR용 EC2 인스턴스 프로파일 : 인스턴스 프로파일 생성

# 작업이 끝난 후 클러스트를 사용종료하세요.

1) web console 에서 직접 접속.

2) sudo vi /etc/ssh/sshd_config

# add below code at the below

PubkeyAcceptedAlgorithms +ssh-rsa

3) sudo systemctl restart sshd

* 혹시 안되면, # PubkeyAuthentication yes 에서 # 제거후 다시 restart

# 참조 : https://hyunsoft.tistory.com/entry/ppk-%EB%A7%8C%EB%93%9C%EB%8A%94-%EB%B2%95-%EB%B0%8F-PuTTY-key-format-too-new-%EC%98%A4%EB%A5%98-%ED%95%B4%EA%B2%B0%EB%B2%95

# 참조 : https://www.youtube.com/watch?v=2Xb2JXV5Llo

■ 문제점 : SSH 접근의 문제점

1) EC2 별로 Key 파일(=PEM) 필요

2) 다른 유저에게도 Key 파일 공유. Key 파일 유출 발생

3) 로그인 이력 보기 어려움.

4) Key 파일 변경시 모든 EC2 를 다 바꿔야 함.

5) Private Network 내 EC2 는 외부에서 직접 접근이 불가능하니, Public Network 내 Bastion EC2 의 Tunneling 을 통해 접근하는 불편함.

■ 해결책 : Systems Manager Session Manager

EC2 를 "브라우저 기반 Shell" 혹은 "AWS CLI" 로 관리. 온프레미스 인스턴스, 가상머신도 가능

- 원클릭 액세스 제공

- SSH 연결 불필요. 포트 불필요

- IAM 유저 단위 제어 가능 ( Key 파일 불필요 )

■ 사용법

- Amazon Linux Instance 사용권유, SSM 디폴트 설치가 되어 있기 때문.

순서 1) IAM Role (역할) : 역할만들기 > EC2 > 정책필터=SSM.AmazonEC2RoleforSSM 체크 > "SSM Role 이름" 입력후 저장

순서 2) EC2 생성시 IAM 역할에서 "SSM Role 이름" 선택후 생성. (보안그룹에서 SSH 를 빼도 됨)

순서 3) Key Pair 선택에서는 "키 페어 없이 계속".

순서 4) Systems Manager > Session Manager > 세션 시작 > 인스턴스 선택후 하단에 세션시작버튼 클릭

참조 : https://yozm.wishket.com/magazine/detail/1360/

S3 : Simple StorageService

File 형태 : Windows 파일시스템. 디렉토리/ 파일구조.

Block 형태 : Amazon 파일 시스템

Object 형태 : 객체 URL 이 생김.

CloudFront : CDN 이다.

S3 와 주로 연동하며 EC2 와 연동도 된다.

Origin 에서 CDN 으로 배포 비용은 무료이며, CDN 에서 고객에게 배포비용도 50G 까지는 무료다.

동영상(RTS, HLS=HTTP Live Streaming, m3u8, ts) 도 가능하다고 하는데 방법은 연구 필요.

H5P 와 연동가능 여부 확인 필요

참조 : https://docs.aws.amazon.com/ko_kr/awsaccountbilling/latest/aboutv2/using-ppslong.html

참조 : https://docs.aws.amazon.com/ko_kr/awsaccountbilling/latest/aboutv2/using-pelong.html

참조 : https://docs.aws.amazon.com/cli/latest/reference/pricing/index.html

참조 : https://www.middlewareinventory.com/blog/aws-cli-ec2

서비스 엔드포인트

AWS Price List SQuery PI는 다음과 같이 2개의 엔드포인트를 제공합니다.

https://api.pricing.us-east-1.amazonaws.com

https://api.pricing.ap-south-1.amazonaws.com

cmd > aws pricing get-products --service-code AmazonEC2 --region ap-south-1

# 실행해도 응답없이 무한대기 상태임.

참조 : https://www.middlewareinventory.com/blog/aws-cli-ec2/

1) AWS CLI 로 설치 페이지 검색해서 설치

2) IAM > 사용자 > 보안 자격 증명에서 Access Key 생성 ( Secret Access Key 확보 )

3)

cmd> aws configure

AWS Access Key ID [None]: Access Key 입력
AWS Secret Access Key [None]: Secret Access Key 입력

3.1) 혹은 사용자 생성

생성시 Access type. Programmtic access 를 check

4) Attach existing policies directly 에서 접근 권한 체크

# 참조 : https://www.youtube.com/watch?v=jCHOsMPbcV0 

# 참조 : https://www.youtube.com/watch?v=t8sjTFM_tfE 

1) aws web console 상에서 코딩 및 디버깅 ( 로그 를 AWS.LogWatch 로 디버깅 )

2) Coding 은 web console 상에서 먼저 Function 을 만들고, Function 은 Node 나 Python 으로 작성한다음 Deploy 하면 됨.

3) 콘솔 실행같은 경우는 이벤트 ( 실행 플랜 ) 을 간단히 만들어서 파라미터 넘겨서 실행가능.

4) Trigger 로 실행하는 경우는 ,

예를들면, 트리거 목록중 하나인 "S3" 를 선택하면 , S3 버킷에 파일이 올라오면 동작하게 된다는 뜻임 .

그리고, 작성된 함수는 S3 버킷 속성의 이벤트 알림에 나타나게 됨 .

참조) https://brunch.co.kr/@cebi750/10

요약)

1. 속도 개선을 위해 ParrallelQuery 옵션 켬 .

2. read IOCp 가 갑자기 100배 증가 .

3. 하루 비용이 20만원이 120만원이 됨 .