대용량 csv 파일 보기

데이터 처리를 하다보면 대부분 csv 파일로 저장을 하게됨.

나같은 경우 매트랩에서 전처리를 하는데 이때 데이터를 바로 csv형태로 저장하는 경우는 문제가 없는데

다른 데이터의 일부분과 합쳐서 하나의 csv 파일로 만드는 경우 가끔 셀의 행이나 열이 중복된다거나.. 그런일이 발생한다.

그래서 csv 파일을 열어 확인해야하는데 기본적으로 2기가가 넘어서 엑셀, 메모장, 워드패드로 안열린다.

그래서 vim 을 찾았다!
시간은 좀 걸리는데 다른 프로그램쓸때보단 훨씬 덜걸림

http://www.vim.org/download.php

아나콘다 설치시 tensorflow 버전 매칭

아나콘다 설치후 

pip install tensorflow 로 아나콘다 설치 후 코드를 돌렸을 때 다음과 같은 에러가 뜬다면,

아나콘다와 tensorflow의 버전이 안맞아서 그런것임.

ImportError                               Traceback (most recent call last)

ImportError: No module named 'numpy.core._multiarray_umath'

---------------------------------------------------------------------------

ImportError                               Traceback (most recent call last)

ImportError: numpy.core.multiarray failed to import

During handling of the above exception, another exception occurred:

SystemError                               Traceback (most recent call last)

~\AppData\Local\conda\conda\envs\python35\lib\importlib\_bootstrap.py in _find_and_load(name, import_)

SystemError: PyEval_EvalFrameEx returned a result with an error set

---------------------------------------------------------------------------

ImportError                               Traceback (most recent call last)

ImportError: numpy.core._multiarray_umath failed to import

---------------------------------------------------------------------------

ImportError                               Traceback (most recent call last)

ImportError: numpy.core.umath failed to import

pip uninstall tensorflow    : 기존 텐서플로우 삭제

pip install tensorflow==1.12.0   : 현재 자신의 파이썬과 매칭되는 텐서플로우 설치

대부분의 사람들이 python 3.5.x버전을 까는것도 tensorflow 버전때문인데...

암튼 이런 오류가 뜬다면 그냥 버전 매칭만 시켜주면됨.

결론적으로는 아나콘다 깔고 깔린 파이썬 버전과 텐서플로우 버전만 맞게 설치하면 끝.

<내가 아는 매칭되는 버전>

  anaconda 5.3.0이전 버전 (자동으로 python 3.6 버전 설치) - tensorflow 1.12.0 

  anaconda 5.3.0 (python 3.7) - tensorflow 1.13.0

아나콘다 설치시 tensorflow 설치를 위한 환경설정 방법 2

1. 아나콘다 설치

https://repo.anaconda.com/archive/

여기서 원하는 아나콘다 설치.
설치시 python버전이 대부분 3.6.x이상 , tensorflow사용을 위해서는 3.5.x버전 필요


2. 아나콘다 파이썬 버전 바꾸기

cmd 창에서 다음 코드 친다.

conda search python

그러면 사용가능한 python 버전이 나온다.
* 표시있는 것이 현재 사용하고 있는 버전

 2-1. 현재 사용하고 있는 버전을 다른 버전으로 교체.
       나는 3.5.2 버전을 설치했다.

conda install python=3.5.2

 2-2. 현재 사용하고 있는 버전 유지한채 새로운 환경을 하나 더 만들기

conda create -n py35 python=3.5.2 anaconda

새로운 환경의 이름을 py35라고 설정했다.
py35 환경 사용시
activate py35
py35 환경에서 나올때
deactivate py35

아나콘다 설치시 tensorflow 사용을 위한 환경설정 1

1. 아나콘다 설치

https://repo.anaconda.com/archive/

여기서 원하는 버전 설치!



2. tensorflow는 python3.5.x 버전만 지원함. 환경설정 바꿔주기

나의 경우 anaconda3-5.2.0 버전을 설치했는데 이건 python 3.6이 기본으로 되어있더라.

그래서 anaconda prompt를 열어서 python3.5 버전을 위한 환경설정을 해줌

아래의 코드를 쳐줌.

conda create --no-shortcuts -n python35 python=3.5 anaconda

그리고 나서 tensorflow를 설치해줌

pip install tensorflow

이때 나는 "distributed 1.21.8 requires msgpack, which in not installed"라는 경고문이 떴는데 이럴땐 

pip install msgpack          으로 설치해준 후 tensorflow 설치하면 된다.

하지만 msgpack 설치할때 "엑세스가 거부되었습니다"

이러한 오류가 뜬다면 작업표시줄 시작에서 cmd를 검색하여 오른쪽클릭을 하여 관리자모드 실행한 후 pip install msgpack 해주면 된다.

요약!