FinalProject_07(개별 Action 수행, AWS 학습)

현재 조사한 바로는 AWS의 클라우드 서비스를 위해 사용해야 하는 것은 SageMaker, S3, SageMaker JupyterLab리소스( Amazon Elastic Block Store(Amazon EBS) 및 Amazon Elastic Compute Cloud(Amazon EC2)의 리소스) 정도가 있다.

 

- SageMaker: 완전 관리형 기계 학습(ML) 서비스

https://docs.aws.amazon.com/sagemaker/latest/dg/whatis.html

SageMaker Git 주소: https://github.com/aws/amazon-sagemaker-examples?tab=readme-ov-file

 

- S3 Athena : S3에 저장된 데이터를 SQL 언어로 조회할 수 있는 대화식 서비스, 보통 로그같은 대규모 데이터는 EBS나 ElasticSearch 등에 적재하기에는 많은 비용이 발생하기 때문에, S3와 같은 저렴한 스토리지에 저장하게 된다.
하지만 로그를 가져올 때 조건을 거는 부분과 많은 양의 압축된 로그 파일을 로드하고 압축을 푸는데 시간이 너무 많이 소요되는 문제가 생긴다. 따라서 이러한 문제들을 해결해줄수 있는 서비스가 Athena(아테나)이다.

(출처: https://inpa.tistory.com/entry/AWS-📚-Athena-사용법-정리-S3에-저장된-로그-쿼리하기 [Inpa Dev 👨‍💻:티스토리])

 

 

amazon sagemaker 사전요구사항 설정 : https://docs.aws.amazon.com/sagemaker/latest/dg/gs-set-up.html

참고 : http://contents2.kocw.or.kr/KOCW/data/document/2020/edu1/bdu/nohyunhong1118/063.pdf

 

 

 

 

계정생성 및 카드 설정 등은 넘기고 SageMaker Studio 접속까지만

 

모든 서비스 보기 클릭 -> Machine Learning의 Amazon SageMaker 클릭

 

 

SageMaker 시작하기 클릭

 

 

 

도메인 이름 클릭

 

 

Studio 클릭 -> Jupyter Lab

 

 

노트북 인스턴스 생성

 

 

 

Jupyter Lab 사용자 가이드: https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated-jl-user-guide.html

Jupyter Lab 관리자 가이드: https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated-jl-admin-guide.html

 

입력 및 출력에 Amazon S3 버킷 사용: https://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/automatic-model-tuning-ex-bucket.html

 

 

S3 데이터 업로드 자료: https://velog.io/@jinseoit/AWS-S3-bucket

AWS로 딥러닝 학습하기: https://hanseokhyeon.tistory.com/entry/AWS%EB%A1%9C-%EB%94%A5-%EB%9F%AC%EB%8B%9D-%EB%AA%A8%EB%8D%B8-%ED%95%99%EC%8A%B5%ED%95%98%EA%B8%B0

 

-> colab과 loacl을 이용하여 모델학습하기로 결정. AWS는 나중에 하자