용어) EMR : EMR 클러스터를 생성하여 코드 실행한다. 학습 모델 코딩시 집중해서 계속 작업하는 용도이다. 비용보다는 작업 효율에 집중할 때 사용한다.

용어) EMR Serverless : 코드 실행시에 EMR 클러스터를 할당 받아서 코드 실행하고 종료후 클러스터를 종료한다. 즉, 가끔 인퍼런스 돌릴 때 사용하면 비용 절감에 효과적이다.

1) EMR 설정

쥬피터 포함.

[이름 및 애플리케이션]

- 이름 : project.emr.cluster

- Amazon EMR Release : 최신 ( 2024/6/11현재 emr-7.1.0)

- 애플리케이션 번들 : Spark Interactive 선택 후 Jupyter Hub 1.5.0 추가 체크하면, 자동으로 Custom 으로 변경됨.

( Hadoop, Hive, JupyterEnterpriseGateway 2.6.0, JupyterHub 1.5.0, Livy, Spark, 옵션으로 Tensorflow )

[클러스터구성]

균일한 인스턴스 그룹

- 프라이머리 : m5.xlarge : 이건 작업에 맞춰 서버 스펙을 키울 것.

- 코어 : m5.xlarge : 이건 작업에 맞춰 서버 스펙을 키울 것.

- EBS 루트 볼륨 : 크기 - 15 ( 이건 작업할 파일 사이즈에 맞춰 키워야 될 수도 있음. 작업하면서 맞춰 볼것 )

[클러스터 크기 조정 및 프로비저닝]

- 옵션 : 수동으로 클러스터 크기 조정

- 구성 프로비저닝 : 인스턴스 크기 : 2 ( 이건 작업에 따라 조정할 것 ). 이걸 2로 맞추면 "프라이머리 m5.xlarge EC2 한 대" + "코어 m5.xlarge EC2 2 대" = 총 3대의 EC2 가 생성됨.

[네트워킹]

자신의 네트워크 설정

[클러스터 종료 및 노드 교체]

- 종료 옵션 : 유휴 시간 : 3시간

- 비정상 노드 교체 : 켜기

[클러스터 로그]

- s3 에 작업 폴더 아래에 로그 폴더 만들어서, s3://uri/workfolder/logfolder 등록

[Identity and Access Management(IAM)]

- Amazon EMR 서비스 역할 : 서비스 역할 생성

- 보안그룹 : 내 보안 그룹 선택

- Amazon EMR용 EC2 인스턴스 프로파일 : 인스턴스 프로파일 생성

# 작업이 끝난 후 클러스트를 사용종료하세요.

1) curl -v https://mydomain.com:443/test

2) openssl s_client -connect mydomain.com:443 -showcerts

혹은

openssl s_client -connect host.domain.com:port | openssl x509 -noout -dates

로 인증서 검증 해보기

3) 오류시

- 웹서버 설정 파일에서 인증서 디렉토리 파일 위치 와 파일명 반드시 확인

- Root 인증서 까지 반드시 확인. crt 에 다수개의 인증서 내역

--- BEGIN ---

...

--- END ---

--- BEGIN ---

...

--- END --- 이 위와 같이 저장되어 있어야 할 수도 있음.

1) python3 -m pdb sourcecode.py

2.1) 소스 코드 보기

l <Enter> # L 임. 열 줄 정도 나옴. 코드 줄 번호 나옴. -> 가 현재 Instruction 위치임.

2.2) 소스 코드 계속 보기

l 을 계속 치면 소스코드가 이어져서 나옴.

2.3) 소스 특정 라인 보기

l 180 # 180번 라인 주변을 보여줌.

3.1) 변수 보기 

p 변수명 # print

3.2) 변수값이 변하면 바로 보이기

d 변수명 # display

4.1) Breakpoint 설정

b 180

4.2) Run at breakpoint

c # continue

4.3) Breakpoint 목록

b

4.4) Breakpoint 삭제

cl breakpoint번호 # clear, breakpoint번호 는 b 에서 확인 가능

9) 나가기

q