tensorflow==1.13.1
keras==2.2.5
talos==0.6.3
2019년 9월 16일 월요일
Hyperparameter optimization
Input-Output 간 예측을 위한 파라미터 최적화가 아닌,
머신러닝 구조자체의 파라미터를 하이퍼파라미터라고 함
일반적으로 하이퍼파라미터에 포함되는 파라미터는
- batch size
- hidden layer 개수
- hidden layer 활성화함수
- hidden layer 내 노드 개수
- dropout 비율
- 최적화 방법
- 에러값계산법
하이퍼파라미터 최적화 방법에는
- 격자 탐색 (grid search)
- 임의 탐색 (random search)
- 베이즈 최적화 (Bayesian optimization)
http://research.sualab.com/introduction/practice/2019/02/19/bayesian-optimization-overview-1.html
- 유전 알고리즘 (genetic algorithms)
- 하이퍼파라미터에 대한 머신러닝
이를 구현하기 위한 방법으로
<사이킷 런을 활용한 방법>
- 격자 탐색 (grid search) => sklearn.model_selection.GridSearchCV
- 임의 탐색 (random search) =>sklearn.model_selection.RandomizedsearchCV
http://ethen8181.github.io/machine-learning/keras/nn_keras_hyperparameter_tuning.html
<개발자들이 만들어 놓은 방법>
- hyperband (임의 탐색) => https://arxiv.org/pdf/1603.06560.pdf
: 위의 논문 저자들이 개발한 최적화 기법
https://github.com/PacktPublishing/Deep-Learning-Quick-Reference 의 chapter 6에 hyperband.py 코드가 있음.
- keras-tuner : keras-tuner설치에 관한 글은 따로 포스팅해놓았음.
<talos 활용방법>
- https://github.com/autonomio/talos
나는 전부다 사용해보았는데 talos 를 활용한 방법이 제일 좋았다.
데이터 용량이 커지면, 진행과정을 눈으로 보면서 해야 남은 시간도 예상가능하고 좋은데
사이킷 런은 내가 아직 텐서보드 연동을 안해서 그런지 하염없이 기다리고만 있어야함..
hyperband는 내가 데이터를 받아오는 방법이 조금 달라서 적용하기가 어려움.
keras-tuner는 기존 나의 텐서플로우의 버전과 맞지 않아 사용이 불가함.
머신러닝 구조자체의 파라미터를 하이퍼파라미터라고 함
일반적으로 하이퍼파라미터에 포함되는 파라미터는
- batch size
- hidden layer 개수
- hidden layer 활성화함수
- hidden layer 내 노드 개수
- dropout 비율
- 최적화 방법
- 에러값계산법
하이퍼파라미터 최적화 방법에는
- 격자 탐색 (grid search)
- 임의 탐색 (random search)
- 베이즈 최적화 (Bayesian optimization)
http://research.sualab.com/introduction/practice/2019/02/19/bayesian-optimization-overview-1.html
- 유전 알고리즘 (genetic algorithms)
- 하이퍼파라미터에 대한 머신러닝
이를 구현하기 위한 방법으로
<사이킷 런을 활용한 방법>
- 격자 탐색 (grid search) => sklearn.model_selection.GridSearchCV
- 임의 탐색 (random search) =>sklearn.model_selection.RandomizedsearchCV
http://ethen8181.github.io/machine-learning/keras/nn_keras_hyperparameter_tuning.html
<개발자들이 만들어 놓은 방법>
- hyperband (임의 탐색) => https://arxiv.org/pdf/1603.06560.pdf
: 위의 논문 저자들이 개발한 최적화 기법
https://github.com/PacktPublishing/Deep-Learning-Quick-Reference 의 chapter 6에 hyperband.py 코드가 있음.
- keras-tuner : keras-tuner설치에 관한 글은 따로 포스팅해놓았음.
<talos 활용방법>
- https://github.com/autonomio/talos
나는 전부다 사용해보았는데 talos 를 활용한 방법이 제일 좋았다.
데이터 용량이 커지면, 진행과정을 눈으로 보면서 해야 남은 시간도 예상가능하고 좋은데
사이킷 런은 내가 아직 텐서보드 연동을 안해서 그런지 하염없이 기다리고만 있어야함..
hyperband는 내가 데이터를 받아오는 방법이 조금 달라서 적용하기가 어려움.
keras-tuner는 기존 나의 텐서플로우의 버전과 맞지 않아 사용이 불가함.
keras tuner 설치 (windows 10)
Keras tuner는 git-hub에 올라와있음.
따라서 git을 설치해야 설치가능. (1~2는 이를 위한것, 3번은 keras-tuner설치)
1. chocolatey 설치 (pip 같은거)
https://chocolatey.org/install#install-with-cmdexe
2. git 설치
- cmd 창에
choco install git
refreshenv
3. Keras tuner 설치
- cmd 창에 아래 입력
끗!
마아아안약에 3번 마지막에 설치할 때 wrapt을 제거하라 수 없어 설치가 부분적으로 되었다 이런말이 뜨면
pip install wrapt --upgrade --ignore-installed
이거 한다음 pip install . 하면됨!
호오오옥시 설치하고 나서 numpy를 import할수 없니 마니 이런거 뜨면
numpy 버전업그레이드를 시켜줘야한다.
나의 경우
pip install numpy==1.16.0
pip install setuptools==41.0.0
해줌!
tensorflow 낮은 버전 사용하면 아마
나의 경우
pip install tensorflow==2.0.0rc1
하니까 이런 오류안뜸!
따라서 git을 설치해야 설치가능. (1~2는 이를 위한것, 3번은 keras-tuner설치)
1. chocolatey 설치 (pip 같은거)
https://chocolatey.org/install#install-with-cmdexe
2. git 설치
- cmd 창에
choco install git
refreshenv
3. Keras tuner 설치
- cmd 창에 아래 입력
git clone https://github.com/keras-team/keras-tuner.git
cd keras-tuner
pip install .끗!
마아아안약에 3번 마지막에 설치할 때 wrapt을 제거하라 수 없어 설치가 부분적으로 되었다 이런말이 뜨면
pip install wrapt --upgrade --ignore-installed
이거 한다음 pip install . 하면됨!
호오오옥시 설치하고 나서 numpy를 import할수 없니 마니 이런거 뜨면
numpy 버전업그레이드를 시켜줘야한다.
나의 경우
pip install numpy==1.16.0
pip install setuptools==41.0.0
해줌!
tensorflow 낮은 버전 사용하면 아마
Limited tf.compat.v2.summary API due to missing TensorBoard installation.
이런거 뜨는데나의 경우
pip install tensorflow==2.0.0rc1
하니까 이런 오류안뜸!
피드 구독하기:
글 (Atom)