Deep Learning6 Data Management Full Stack Deep Learning 강의를 듣고 정리한 내용입니다. Common Data Management Path for Deep Learning 딥러닝 과정 중에는 가지고 있는 데이터를 GPU 옆의 local filesystem에 옮기는 작업이 필요하다. 데이터를 train가능한 형태로 옮기는 방법은 프로젝트나 회사마다 다르다. 예를 들면: train your images on ImageNet, and all the images are just S3 URLs -> simply download them over to the local filesystem. a bunch of text files -> use Spark to process them on a cluster and Pandas da.. 2023. 2. 15. MLOps Infrastructure & Tooling Full Stack Deep Learning 강의를 듣고 정리한 내용입니다. 📌3 Buckets of ML Infrastructure & Tooling Landscape Data -Sources -Data Lake/Warehouse -Processing -Exploration -Versioning -Labeling Training/Evaluation - Compute -Resource Management -Software Engineering -Frameworks & Distributed Training -Experiment Management -Hyperparameter Tuning Deployment -CI/Testing -Edge(mobile/robotic hardware) -Web -Monitor.. 2023. 2. 15. Transformers Full Stack Deep Learning 강의를 듣고 정리한 내용입니다. 📌Transfer Learning in Computer Vision Resnet-50와 같은 deep neural network(NN)들은 성능이 좋긴함. But they are so large that it overfits on our small data. Solution: ImageNet을 사용해 NN을 train한 후 fine-tuning하기 Result: better performance! Fine-tuning model: ImageNet을 사용해 모델을 학습시킨 후 마지막 몇 개의 layer만 다른 것으로 replace. Tensorflow와 Pytorch로 쉽게 구현 가능. 📌Embeddings and Language.. 2023. 2. 15. Computer Vision Full Stack Deep Learning 강의를 듣고 정리한 내용입니다. 📌AlexNet Deep layer with 8 layers First convnet winner Innovated with ReLU and Dropout Dropout: some set of weights are set to zero randomly in training Heavy data augmentation(flip, scale, etc) Fun fact: usually drawn as two parts, because the biggest GPU only had 3GB memory at the time 그래서 model distributed training을 했어야 했다. (model이 두개의 다른 GPU에 위치한 상태.. 2023. 2. 15. Deep Learning Fundamentals Full Stack Deep Learning 강의를 듣고 정리한 내용입니다. Neural Networks 📌Biological Neurons 외부의 자극이 dentrites를 통해 들어옴 ->역치를 넘어서면 firing함(axon을 통해 electrical potential전달) 📌Artificial Neuron input x: biological neuron에서 외부의 자극에 해당 weight w: 자극에 대해 얼마나 영향을 받는지 조정 b: bias activation function: (=threshold function) sum값이 역치를 넘어서면 on, 아니면 off 📌Common Activation Function Sigmoid Function Hyperbolic Tangent Rectifie.. 2023. 2. 15. [Colab] 코랩과 구글 드라이브 연동하기 Google Colab으로 프로젝트를 진행할 때, 로컬 환경에 데이터를 저장하고 불러오는 대신 구글 드라이브에 존재하는 데이터를 Colab에 가져다 쓰고 싶은 경우가 있습니다. 이런 경우 데이터를 코랩에 올리는 행위를 mount한다고 부르는데, 코드 단 두 줄을 사용해 매우 간단히 진행할 수 있습니다. 다음은 사용자의 구글 드라이브를 코랩 내 /content/drive에 mount하는 코드입니다: from google.colab import drive drive.mount('/content/drive') 1. 코랩에서 위 코드 블럭을 실행하면 다음과 같은 팝업이 뜹니다. 'Google Drive에 연결' 버튼을 눌러서 Colab이 Google Drive에 엑세스하는 것을 허용합니다. 2. 그러면 다음과 .. 2023. 1. 2. 이전 1 다음
