반영훈/R
[R][Packages][Bigdata][data.table]대용량 데이터를 빠르게 읽기
Banda
2019. 7. 4. 10:02
큰용량의 데이터를 다루어 봤는데 약 1gb 용량의 txt 파일이었다.(개당)
read.table로 읽어 들이는데 기다리는 시간이 너무 오래걸려 집중도 안되고 흐름이 뚝뚝 끊겨서 방법을 찾다가
"data.table"이라는 좋은 도구를 알게 되어 공유한다.
간단하게 소개만 하고 자세한 건 구글링.
install.packages("data.table")
library("data.table")
#사용예시
df.=fread("file.txt", stringsAsFactors = FALSE, data.table = FALSE)
추가: EOF ISSUE 발생 시
install.packages('bit64')로 해결하였음.(에러창 보고 알맞게 설치하면 됨.)