Data Engineering/AWS4 [AWS] Python에서 AWS S3에 파일, 폴더 업로드/다운로드 이번 글에서는 Python에서 AWS S3에 파일 및 폴더를 업로드하거나 다운로드하는 방법에 대해 살펴보고자 합니다. Python에서는 boto3 패키지를 통해 S3에 파일을 업로드 및 다운로드를 손쉽게 할 수 있습니다. boto3 패키지는 Python용 AWS SDK로, S3 외에도 다른 AWS 서비스와 통합하는 것이 가능합니다. 우선 파일 업로드부터 살펴보겠습니다. 먼저 Python에 boto3 패키지를 설치하고, import 해줍니다. 다음으로는 AWS S3 access key 정보와 Bucket 명을 입력하는 것을 통해 S3 내의 Bucket과 연결해 줍니다. 마지막으로 upload_file 함수에 1) 첫 인자에는 업로드하고자 하는 파일이 위치한 경로, 2) 두 번째 인자에는 Bucket 내에 .. 2023. 10. 17. [AWS] Jupyter Notebook 설치 및 실행 저번 글에서는 AWS EC2 상에서 원하는 Python3 버전을 설치하는 방법에 대해서 살펴봤습니다. 본 글에서는 Anaconda를 통해 Jupyter notebook 설치 및 실행까지 설명하도록 하겠습니다. AWS EC2 상에서 Anaconda 및 가상환경을 생성하는 방법은 https://coding-nurse.tistory.com/226에 자세하게 설명되어 있습니다. Linux를 거의 처음 접하는 저도 쉽고 오류없이 설치하였으므로, 글을 읽으시는 분들도 큰 문제없이 Anaconda 설치를 완료하실 수 있을 것입니다. 저는 ec2-user 계정을 통해 모든 과정을 진행하였습니다. 우선 Jupyter Notebook 설정 파일을 생성합니다. 아래의 코드를 실행하면 결과로 경로도 함께 나오게 되는데, 해당.. 2022. 8. 2. [AWS] AWS EC2에 Python3 설치하기 저번 글에서는 Windows에서 AWS EC2에 접속하는 방법(https://dslyh01.tistory.com/6)에 대해 살펴보았습니다. 본 글에서는 AWS EC2에 접속한 이후, Python3을 설치하는 방법에 대해 알아보고자 합니다. 저는 Linux 환경 사용이 거의 처음이었기 때문에, 설치하면서 발생하는 오류와 해결 과정에 대해서도 차근차근 정리해봤습니다. 1. Python3 설치 우선 AWS EC2에 설치되어있는 Python을 확인해줍니다. 다음과 같은 코드를 실행하면 설치되어있는 Python이 나타나게 됩니다. 저의 경우에는 Python2.7과 Python3.7이 설치되어있었는데, 필요한 버전이 3.9.7이었기 때문에 추가적인 설치 과정을 진행하였습니다. 아래 코드의 '00@00'은 설명을 .. 2022. 7. 19. [AWS] Windows에서 AWS EC2 접속하기 본 글에서는 Windows에서 AWS EC2에 접속하는 방법에 대해 살펴보고자 합니다. 본 글은 AWS 접속 과정이 정리가 잘 되어있는 https://mjmjmj98.tistory.com/87 글을 참고하여 작성하였습니다. 1. PuTTY 설치 우선 EC2 인스턴스 생성 시 발급받았던 키인 .pem 파일을 .ppk 파일 형식으로 변환하고, AWS EC2에 접속하기 위해서는 PuTTY 프로그램이 필요합니다. PuTTY는 https://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html에서 'putty-64bit-0.77-installer.msi'를 클릭하여 다운로드 받을 수 있습니다. 다운로드가 완료되면 해당 파일을 실행하여 PuTTY의 설치를 완료해줍니다. .. 2022. 7. 13. 이전 1 다음
