본문 바로가기
반영훈/R

[R][Packages][Bigdata][data.table]대용량 데이터를 빠르게 읽기

by Banda 2019. 7. 4.

큰용량의 데이터를 다루어 봤는데 약 1gb 용량의 txt 파일이었다.(개당)

read.table로 읽어 들이는데 기다리는 시간이 너무 오래걸려 집중도 안되고 흐름이 뚝뚝 끊겨서 방법을 찾다가

"data.table"이라는 좋은 도구를 알게 되어 공유한다.

간단하게 소개만 하고 자세한 건 구글링.

install.packages("data.table")

library("data.table")

#사용예시

df.=fread("file.txt", stringsAsFactors = FALSE, data.table = FALSE)

추가: EOF ISSUE 발생 시

install.packages('bit64')로 해결하였음.(에러창 보고 알맞게 설치하면 됨.)

댓글