728x90 반응형 Programming/Python13 [Python] Conda 가상환경을 다른 컴퓨터로 옮기기 (ft. 윈도우 버전) 파이썬은 일반적으로 가상환경에 설치하고 실행한다. 이렇게 하는 이유는 파이썬 프로그램의 버전과 다른 여러 API의 버전 관리를 위해서이다. 가상환경을 이용하면 버전이 다른 프로그램을 하나의 컴퓨터에 설치하고 필요에 맞게 환경을 바꿔서 작업할 수 있다. 이것이 파이썬 가상환경의 가장 큰 장점이다. 주로 Conda를 이용해 가상환경을 구축하게 된다. Conda는 패키지 관리가 편할 뿐만 아니라 각종 에디터도 제공하기 때문에 편리한 프로그램이다. 이렇게 Conda 환경에서 작업을 하다, 다른 컴퓨터로 옮겨서 작업을 해야 할 일이 생기기도 한다. 이럴 땐, 원래 가상환경에 있던 모든 프로그램을 다시 설치해야 하기 때문에 여간 귀찮은 일이 아닐 수 없다. 이럴 때 원래의 가상환경을 그대로 옮기면 일이 훨씬 줄어들.. 2022. 5. 4. [Python] Pandas groupby 결과를 list의 dictionary로 바꾸기!! 여러 행으로 구성된 데이터를 다루다 보면, 어떤 특정한 행에 의해 데이터를 정렬해야 하는 일이 빈번하게 발생한다. 이것은 pandas의 groupby로 아주 간단하게 처리할 수 있다. 우선 간단한 데이터를 만들어보자 Column1 Column2 Column3 0 23 1 1 5 2 1 2 3 1 19 5 2 56 1 2 22 2 3 2 4 3 14 5 4 59 1 5 44 1 5 1 2 5 87 3 이것은 data라는 이름의 텍스트 파일로 만들어 읽어, dataframe으로 변환해보자. with open (path to data.txt) as f: lines = f.readlines() data = [] for line in lines: data.append([ int(el) for el in line... 2022. 5. 2. [Pandas] UnicodeDecodeError: 'utf-8' codec can't decode byte 해결방법 증상 Pandas api로 csv파일을 읽을 때, 다음과 같은 UnicodeDecodeError가 날 수 있다. df = pd.read_csv('test.csv') 이 에러는 읽어드릴 파일의 포맷이 UTF-8이 아니기 때문에 발생한다. 해결 위의 pandas.read_csv 함수를 보면 encoding/encoding_errros이란 변수가 있고, 이것들의 디폴트는 각각 None과 strict이다. 이 변수값을 따로 지정해주면 에러를 해결할 수 있다. 두 가지 방법이 있다. 1. 인코딩 에러를 무시하는 방법 (encoding_errors='ignore') 첫번 째 방법은 이 에러를 무시하는 것이다. 다음과 같이 encoding_errors를 ignore로 하면 해결할 수 있다. df = pd.read_c.. 2022. 4. 13. [Python] 압축 파일(zip) 다루기 (ft. 압축 풀지 않고 데이터 읽기) 목차 많은 양의 데이터를 이동하거나 보관할 때 주로 이들을 압축하며, zip과 tar 확장자가 대표적이다. 최근 시그널 프로세싱에 관련된 데이터 분석을 하면서 많은 실험 데이터를 다루게 되었다. 이것들은 실험의 조건에 따라 여러 그룹으로 나누어져 있고, 각 조건마다 수십 개의 파일들이 있어 데이터를 옮기는 데만 상당히 많은 시간이 걸리게 되었다. 클라우딩 스토리지를 사용하면 좋겠지만, 아직 그 단계의 시스템이 구축된 것이 아니어서 일단 압축 파일의 형태로 데이터를 옮기고 읽어 들이기로 하였다. 이번 포스팅에서 python에서 zip 파일의 압축을 풀고 데이터를 읽는 법에 대해서 정리해보았다. 또한, 압축을 풀지 않고 내부 파일의 데이터를 로딩하는 방법에 대해서도 정리했다. 특히, 후자의 경우는 디스크 사.. 2021. 6. 14. 이전 1 2 3 4 다음 728x90 반응형
