본문 바로가기

BigData4

[R][Data.table][Packages]-대용량 데이터를 빠르게 읽어들일 수 있음. ##To Handle 'big data' : [package]data.table## install.packages("data.table") #install the packages library("data.table") #I will use this packages #to solv EOF within Issue t1_20t=fread("file.txt", stringsAsFactors = FALSE, data.table = FALSE) install.packages('bit64') 2020. 7. 8.
R studio 실행도중 종료시 빠르게 종료 꿀팁 R studio 로 빅데이터를 다루다 보면 실행도중 종료가 절실한 상황이 많습니다. 아... 이거 코드 잘못짰는데 실행시켜버렸네... 싶을 때, 종료를 누르고 기다리면 정말 한 세월을 기다려야 하죠. 종료가 왜이리 오래 걸리는지... 막상 저장도 안되고... 빨리 끄고싶을 때 어떻게 해야하는지? 1. 작성한 코드를 복사한다. 2. 시작 -> 메모장(notepad, 이미 사용중이시면 shift 키를 누르고 클릭하시면 새 창으로 뜹니다.) -> 붙여넣기 3. ctrl + shift + esc 로 작업관리자를 열어 RStudio R Session을 찾습니다. 4. 마우스 우클릭 후 작업을 끝내줍니다. 5. 메모장에 붙여둔 코드를 ctrl + a 로 '복사' -> R studio에 ctrl + v 로 '붙여넣기.. 2019. 10. 8.
R studio 메모리 정리 분명히 없어야 하는 값들이 튀어나오는 상황을 발견. 메모리에 남아있던 찌꺼기들이 예상치못하게 로딩되는 경우로 예상함. rm(list = ls()) # 작업공간에 있는 모든 객체를 삭제 gc() # 더이상 사용되지 않는 메모리를 R로 하여금 강제로 해방 rm 부분만 하면 메모리 자체가 해방되진 않는 것 같음. gc까지 해 줘야 됨. 최종확인시 해당 코드 필수인 것 같음. 2019. 7. 19.
[R][Packages][Bigdata][data.table]대용량 데이터를 빠르게 읽기 큰용량의 데이터를 다루어 봤는데 약 1gb 용량의 txt 파일이었다.(개당) read.table로 읽어 들이는데 기다리는 시간이 너무 오래걸려 집중도 안되고 흐름이 뚝뚝 끊겨서 방법을 찾다가 "data.table"이라는 좋은 도구를 알게 되어 공유한다. 간단하게 소개만 하고 자세한 건 구글링. install.packages("data.table") library("data.table") #사용예시 df.=fread("file.txt", stringsAsFactors = FALSE, data.table = FALSE) 추가: EOF ISSUE 발생 시 install.packages('bit64')로 해결하였음.(에러창 보고 알맞게 설치하면 됨.) 2019. 7. 4.