최신 아나콘다는 지원되지 않는 라이브러리들이 다수 있다.
이전버전들이 요기잉네
https://repo.continuum.io/archive/
2018년 10월 15일 월요일
correlation
딥러닝을 하는 도중에
파라미터들 사이에 어떠한 관계가 있는지 파악하고 싶은 경우 correlation을 사용한다.
Pearson correlation
- 연속 변수들 간의 상관계수
- 선형적 관계를 가정
spearman correlation
- 서열 척도들 간의 상관 계수
- 연속변수라 하더라도 극단적인 값들이 존재하면 pearson 대신 spearman사용가능
- 계산방법은 자료의 서열을 정한 다음, 서열간의 pearson 상관계수를 계산하면됨.
파라미터들 사이에 어떠한 관계가 있는지 파악하고 싶은 경우 correlation을 사용한다.
Pearson correlation
- 연속 변수들 간의 상관계수
- 선형적 관계를 가정
spearman correlation
- 서열 척도들 간의 상관 계수
- 연속변수라 하더라도 극단적인 값들이 존재하면 pearson 대신 spearman사용가능
- 계산방법은 자료의 서열을 정한 다음, 서열간의 pearson 상관계수를 계산하면됨.
2018년 10월 7일 일요일
mac os 에서 tensorflow 설치하기
tensorflow 설치전에
반드시 python3 설치와 pip3버전을 최신것으로 업그레이드 해줘야함!
안해주면 tensorflow 설치 안됨!!
그리고 가상환경 조성해준 뒤에 텐서플로우 설치하면됨.
가상환경은 굳이 할 필요는 없으나... 버전이 여러개라거나 그러면 충돌이 일어나게 되고
복잡해질 수 있어서
(첨에 그래서 os 다시 설치함.. 무려 lion 에서 high sierra까지 몇번을 업그레이드 했는지..)
그래서 그냥 가상환경을 바로 설치하는 것을 추천...!
$pip3 install virtualenv
$virtualenv --system-site-packages -p python3 /Users/Name/~/
파란색부분은 가상환경 관련 파일들을 특정 경로에 지정해주는 것.
나는 바탕화면에 tensorflow 폴더를 만들어서 경로를 지정했는데 그 경우에
$virtualenv --system-site-packages -p python3 /Users/Name/Desktop/tensorflow
가 된다.
(이왕이면 짧은 경로에 해주자.. 귀찮다ㅏ..!!)
$pip3 install tensorflow
로 텐서플로우 설치
그리고 실행할땐 아까 지정한 경로내의 bin 폴더내 activate 파일을 실행해주면 된다.
$source /Users/Name/Desktop/tensorflow/bin/activate
그러면 (tensorflow) MacBook-Pro ~ 와 같이 기존의 터미널 경로 앞에
가상환경이 세팅되었단 표시로 괄호 텐서플로우가 생김.
가상환경에서 빠져나가는 방법은
$deactivate
해주면됨.
그리고 나는 쥬피터 노트북을 사용할 거라
$pip3 install jupyter
도 해줌.
mac os 에서 python 설치하기
python은 python.org 에서 원하는 버전 다운받아서 설치하였다.
설치하고나면 python이랑 pip 가 설치되어 있는데
이때 pip 버전이 낮으므로
터미널에서 pip 버전을 업그레이드 해야 tensorflow를 설치할 수 있다.
$pip3 install --upgrade pip
(pip3은 파이썬 3을 설치해서 그럼. 맥북에는 python2는 기존에 설치되어 있음)
만약 python2 용 pip를 업그레이드 하고 싶다면 $pip install --upgrade pip 하면됨.
아무튼 pip업그레이드를 했는데
프로토콜에 문제가 있다며 업그레이드가 안되는 것이었다. 갑자기
그래서 찾아낸 방법이
get-pip.py 로 설치하는 방법이다.
우선 파이썬 버전 상관없이
$curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
해준다음에
python2 인 경우,
$python get-pip.py
python3인 경우,
$python3 get-pip.py
하면됨!!
2018년 10월 4일 목요일
windows 7 tensorflow 가상환경 without anaconda
**cmd 실행시 관리자모드!!! 그냥실행한것과 path가 다름!! 다른데 설치하면 설치해도 서로 호환안됨!!
pip로 차근차근 python과 tensorflow를 설치하는것 까지는 이전글을 따라하면 anaconda 설치 없이도 가능하다.
문제는 import tensorflow as tf로 텐서플로우는 사용할수는 있는데
cmd 창에서 계속할 순.. 없쟈나...
나는 jupyter notebook을 사용하고싶은데연동하려면 가상환경이 필요하다.
그리고 대다수의 사람들이 이 가상환경설치를 아나콘다로 ....하하...하더라.
anaconda 설치 없이 tensorflow 가상환경 만들고 싶은데설치 루트 타고 들어가서 activate 시켜봐도 activate가 되지 않더라... mac에서는 virtualenv 사용했었는데...라고 생각함과 동시에
(이전에 파이썬, 텐서플러우는 설치된 상태임. 이전글에서 버전참고)
$pip3 install virtualenv
가상환경 설치! 해준다음에
$virtualenv tensorflow
가상환경에 텐서플로우를 적용(?)이까지 했으면 cmd 창에서 본인이 계속 머물러있던(?) 위치에서 tensorflow라는 폴더가 생기면서 그안에 tensorflow에 필요한 파일들이 복사되어있다.
$cd tensorflow/Scripts/$activate
하면 tensorflow 가상환경으로 들어가짐.. 유후
그 상태에서
$jupyter notebook
하면 인터넷창 열리고 new- python3 해서
$ import tensorflow as tf
run 해주면 작동된다...
아 물론 jupyter notebook 안깔려있음 명령프롬프트에서
$pip install jupyter
로 설치후
$cd tensorflow/Scripts/activate
해서 가상환경으로 들어간후에
$jupyter notebook 하면된다.
*** 그리고 저렇게 해서 jupyter notebook에서 import tensorflow as tf 했는데
tensorflow라는 모듈이 없다는 소리를 할 수도 있는데!
그것은 TF를 처음 cmd실행했을 때 path에 설치했었고 쥬피터는 그 path내의 tensorflow/Scripts/폴더에서 실행해서 그럼.
그렇다면 그냥 $cd tensorflow/Scripts/ 경로로 들어가서
pip install tensorflow로 설치해주면됨.
win7에서는 이 문제 안생겼었는데... 내가 같은 경로에 했었나.. 암튼 문제 생기면 같은 경로에 한번더 설치해주면된다. 윈도에서는 설치 완료했는데 맥에서는 또 어째하지..
또 조금씩 다를텐데
windows tensorflow-gpu 설치
**cmd 실행시 관리자모드!!! 그냥실행한것과 path가 다름!! 다른데 설치하면 설치해도 서로 호환안됨!!
tensorflow 설치에 가장 간단한 방법은 사실 anaconda 패키지를 설치하는 것이다.
하지만, 나는 맥북에서 여러가지 파이썬과 여러버전의 텐서플로우와 아나콘다들이 충돌해서 아직 해결을 못한 상태이기 때문에 아주 쫄아있는 상태다.
그래서 귀찮지만 pip 명령어를 통해서 일일히 설치해주려고한다.
아나콘다를 이용한 방법은 찾으면 많이 나옴! 물론 pip 명령어 방법도 많이 나옴!
하지만 나중에 내가 봐야할 상황이 반드시 올것이기에 메모하는거ㅋㅋ
tensorflow 는 cpu와 gpu 타입이 있는데일단은 cpu 를 먼저 설치하라고 하더라
gpu를 설치할 수 있는 조건이 만족되어야 작동됨
1, 2번은 gpu 설치시만 하면됨. 난 gpu인줄 알고 설치함.. ㅋㅋ
1. cuda 설치 8.0 이상
(그래픽카드의 gpu를 사용하기 위해서 Nvidia에서 제공하는 병렬처리 연산을 위한 플랫폼)
https://developer.nvidia.com/cuda-downloads?target_os=Windows&target_arch=x86_64&target_version=81&target_type=exelocal
path : C:\Users\MSChoi\AppData\Local\Temp\CUDA
혹시 나중에 파일 복사해야될 것 생길까봐 메모
2. cuDNN 설치
(Nvidia cuda 환경에서 DNN을 지원해주는 라이브러리, cuda 8버전은 cuDNN5.1과 호환)
- 회원가입해야함. 다운받을라면 설문조사도 해야함.
https://developer.nvidia.com/rdp/cudnn-archive
압축을 풀면 안에 3개의 폴더가 있는데 bin, include, lib 이것을을 cuda가 설치된 path에 복사해줌
3. tensorflow 설치
$pip3 install --upgrade tensorflow-gpu
$python$import tensorflow as tf 을 했더니 뭐를 찾을수 없단다.
이런경우 gpu 버전이 지원되지 않는데 gpu버전을 깔아서 그런것 같아서
$pip3 install --upgrade tensorflow
로 cpu 버전을 설치해주고나서$import tensorflow as tf 했더니 잘됨.!!
그리고 import tensorflow as tf 이후 tf를 사용할 때
your cpu supports instructions that this tensorflow binary was not compiled to use avx2
이와 같은 안내메세지가 나오면 무시하거나! 안보이게 설정할 수 있다.
mac에서는 안뜨던데 윈도우에서는 뜸.. 그리고 뭐 조금 느릴뿐 해결하지 않아도 문제가 없다고 한다안보이게 설정하는 법은
$import os
$os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
를 입력하면 안보임!
그리고 텐서플로우 설치후 $python$import tensorflow as tf 했을때
'DLL load failed: DLL 초기화 루틴을 실행할 수 없습니다 tensorflow' 라고 뜨는 경우,
$pip install --upgrade https://storage.googleapis.com/tensorflow/windows/cpu/tensorflow-1.0.0-cp35-cp35m-win_amd64.whl
를 해주자. win10에서 생기는 문제 같음.
https://github.com/tensorflow/tensorflow/issues/17386여기 참고하면 알수 있음.
windows 7 python 3 설치
**cmd 실행시 관리자모드!!! 그냥실행한것과 path가 다름!! 다른데 설치하면 설치해도 서로 호환안됨!!
연구실 컴터는 windows 7이다.
일단 아나콘다로 기본적으로 3.6.6이 설치되어있었는데,
아나콘다 프롬프트에서만 되고 cmd에서 안되고
(원래 그런건지, 나만 안되는건지 모르겠지만)
그래서암튼 그냥 파이썬 홈페이지에서 설치하기로 함
그리고 어짜피 3.5 설치할거라.. 괜히 아나콘다 버전 두개 설치했다가 충돌일어날지도 모르니까..
http://www.python.org/downloads/
여기서 원하는 버전을 다운받음. python, pip, idle 이 함께 설치됨.
다양한 파일이 있는데 executable installer를 받으면 exe 파일로 받을 수 있음.
다운받은 파일의 폴더로 가서 오른쪽 마우스버튼 클릭 -> 관리자 권한으로 실행 눌러서 설치하면됨.
$ python -V$pip -V$where python$where pip
등을 쳐보면 버전이랑 설치된 위치 파악 가능함!
아 그리고 pip는 최신버전이 아닐 확률이 높으니$pip install --upgrade pip 로 버전업해주자
mac python 3 설치시 기존 버전 대체 설치하기
첨에 뭣도 모르고 최신버전 설치했다가
다른 라이브러리들이랑 호환안되서 다운그레이드 하기로함
3.7 에서 3.6에서 3.5.... 핳...
3.6도 쥬피터 노트북내에서 커널이 자꾸 제제길래 검색했더니,
파이썬 3.5까지는 안정적으로는 되는데 그 이상은 불안정하단다..
일단 여기서 python 3.5.2.tar를 받고
https://www.python.org/downloads/release/python-352/
$ tar zxvf /User/download/Python-3.5.2.tgz
$ cd Python-3.6.6
$ ./configure
$ sudo make altinstall
하니깐 기존에 3.6.6버전에서 3.5.3로 대체 설치가 되었다.
근데 3.6.6이 사라지는건 아닌것 같다. 그냥 디폴트 버전을 바꿔주는거 인듯.
파이썬 삭제법을 알아내면 내용추가해야겠다.
이러다 버전별로 다 설치할듯 아오
---------------------
추가 사항
파이썬 3.5를 설치하고 3.6이랑 3.7 삭제하는데 뭔가 충돌이 일어났나보다 SSL 문제가 생기면서 프롬프트에서 pip가 실행이 안됨....
이렇게 된거 초기화하자 해서 했는디, 아하...난 맥북을 초기화해본적이 없군!!os도 구입한적이 없군! 왜냐면 중고로 맥북을 구매했으니까!!! 아하......!!!그래서 일단 os 구매한상태 아직 배송단계로 안넘어가서 다운받을수 없어서 연구실에옴..
피드 구독하기:
글 (Atom)