반응형 컴퓨터 사이언스/딥러닝12 [딥러닝 뉴비의 좌충우돌 일기] Jupyter notebook 딥하게 사용하기(feat. 아나콘다 가상환경 주피터에서 돌리기) 최근 연구실 선배의 연구를 도와드리게 되었다. nlp로 따지면, 선배가 만드신 새로운 단어를 이용해서 language modeling을 해서 generation을 하는 부분을 내가 맡게 되었다. 문제는.. 선배님이 모든 코딩을 jupyter notebook에서 돌리고 계셨기에 내가 사용하는 모든 코드를 jupyter notebook에 올려야 하는 상황이었다. 난감하긴 하지만, 따로따로 코드 돌려서 정신없이 하는 것 보다는 어쨋든 하나에서 다 돌리는 게 낫겠다는 생각이 들어서 과감하게(?) 잘 쓰지도 않았던 jupyter notebook를 좀 더 딥하게 사용해볼 기회를 얻었다. 오늘의 프로그레스는 다음과 같다. Progress - Run jupyter notebook with Anaconda virtual.. 2021. 1. 28. [딥러닝 뉴비의 좌충우돌 일기] 작은 데이터셋과 augmentation 딥러닝 모델들을 학습시키다보면 데이터가 적은 상황에서 학습 성능이 와리가리하는 경우가 종종 발생한다. 예전에 회사에서 몇 안되는 의료 이미지를 학습시켰을 때도 그렇게 느꼈고, 이번에 수업 과제로 음악 장르 맞추기를 하면서 또다시 느꼈다. 모델의 구조를 바꾸든, 하이퍼 파라미터를 바꾸든, 옵티마이저를 바꾸든 성능 향상이 있나? 해서 여러번 실험을 돌려보면 매번 초기화되는 seed 값에 따라서 성능이 휙휙 바뀌었다. 작은 데이터셋(내 기준으로는 augmentation 제외하고 1000개 정도의 이미지)의 경우에는 특히나 그런 게 더 심했다. 이번에 사용했던 GTZAN이라는 음악 장르 데이터셋은 train + val + test해서 730개 정도밖에 되지 않았다. 그러다보니 weight initializati.. 2020. 11. 10. [딥러닝 뉴비의 좌충우돌 일기] 빌린 서버에서 Docker를 실행해보자! 일기를 수정하여 작성. Docker란 무엇인가? 내가 여기서 가상환경의 중요성을 열변을 토하며 말했는데, Docker는 아나콘다보다 더 편한 시스템이라고 생각하면 된다. 좀 더 편하게 컨테이너라는 단위에서 코드를 돌려서 서로 다른 개발 환경 간의 충돌을 피하면서 동시에 여러 코드가 돌아갈 수 있도록 할 수도 있는 그런 시스템이다. 왜 Docker가 편하냐면, 아나콘다에서는 어쨋든 가상환경 하나 깔 때마다 귀찮게 내가 다 설치를 해줘야 하는데 Docker는 container image file이 있다. image file에는 어떤 패키지가 설치되어 있는지 등등이 다 기록되어 있다. 즉, image file만 가지고 있으면.. 2020. 6. 3. 딥러닝 개발환경 세팅할 때마다 찾아보기 귀찮은 명령어 모음(feat. version 확인) 새로운 것을 알게 될 때마다 업데이트하겠음. - 패키지를 .whl 파일으로 설치하고 싶을 때는 pip install “주소.whl”로 하면 됨 - 특정한 버전의 무언가를 깔고 싶다면 pip install tensorflow-gpu==1.13.1 이런식으로 설치할 패키지명 뒤에 ==을 붙여서 쓰면 됨 - GPU 사용 확인 명령어 : nvidia-smi - cuda version 확인 : cmd에 nvcc --version - python version 확인 : python --version - tensorflow version 확인 : python 실행 후 다음을 입력 import tensorflow as tf tf.__version__ - tensorflow가 gpu를 인식하고 있는 지 확인 : pyth.. 2020. 6. 3. 이전 1 2 3 다음 반응형