728x90 반응형 pickle 파일 읽기1 [Python] pandas 파일 로딩 속도 비교 (CSV vs. Pickle 포맷) [Python] Pandas 파일 로딩 속도 비교 (CSV vs. Pickle) 0. Motivation 시그널 프로세싱에 관련된 데이터를 분석하게 되었다. 어떤 시그널이 다양한 조건에서 시간에 따라 기록된 데이터를 분석하여, 네트워크 모델을 세우는 것이 목표이다. csv 파일로 저장된 많은 데이터가 내 앞에 떨어졌다. 얼핏 보니 데이터가 아주 엉망이다. 시그널을 기록한 시간의 간격이 일정하지 않고 제멋대로다. 설상가상으로 어떤 데이터셋은 중간에 중복되어 기록된 것들도 눈에 띈다. 모델링까지 가는 길이 쉽지는 않아 보인다. 데이터를 cleaning up 하는 코드를 먼저 만들어 보기로 했다. 그리고 정제된 데이터를 따로 저장하여, 앞으로의 분석에서 바로 이용할 수 있게 하는 것이다. 갑자기 궁금해졌다. .. 2021. 6. 2. 이전 1 다음 728x90 반응형
