Praktyczne ograniczenia ramki danych R

Granice fizyczne wynikają z użycia indeksów 32-bitowych na wektorach. W rezultacie dozwolone są wektory do 2^31-1. Macierze są wektorami o wymiarach, więc iloczyn nrow(mat) i {[1] } musi znajdować się w granicach 2^31 - 1. Ramki danych i listy są ogólnymi wektorami, więc każdy składnik może przyjmować 2^31 - 1 wpisów, co dla ramek danych oznacza, że możesz mieć tyle wierszy i kolumn. Dla list można mieć 2 ^ 31-1 elementów, każdy z 2^31 - 1 elementów. Wynika to z niedawnego posting by Duncan Murdoch in reply to a Q on R-Help

Teraz wszystko musi zmieścić się w pamięci RAM ze standardowym R, więc może to być bardziej palący limit, ale Widok zadań High-Performance Computing, o którym wspominali inni, zawiera szczegóły pakietów, które mogą obejść problemy z pamięcią.

1) Instrukcja importu / eksportu R powinna być pierwszym portem, do którego należy dzwonić w przypadku pytań dotyczących importowania danych - istnieje wiele opcji i to, co będzie działać dla ciebie, może być bardzo szczegółowe.

Http://cran.r-project.org/doc/manuals/R-data.html

read.table w szczególności znacznie poprawiła wydajność, jeśli wykorzystywane są dostępne mu opcje, zwłaszcza colClasses, comment.char, i nrows - dzieje się tak dlatego, że informacje te należy wywnioskować z samych danych, co może być kosztowne.

2) istnieje określona granica długości (Całkowita liczba elementów) dla dowolnego wektora, macierzy, tablicy, kolumny w danych.ramka, czyli lista. Jest to spowodowane 32-bitowym indeksem używanym pod maską i jest prawdą dla 32-bitowych i 64-bitowych R. Liczba wynosi 2^31 - 1. Jest to maksymalna liczba wierszy dla danych.ramki, ale jest ona tak duża, że znacznie bardziej prawdopodobne jest, że zabraknie pamięci nawet dla pojedynczych wektorów, zanim zaczniesz zbierać kilka z nich.

Zobacz help(Memory-limits) i help(Memory) Po szczegóły.

Pojedynczy wektor o tej długości zajmie wiele gigabajtów pamięci (zależy od typu i trybu przechowywania każdego wektora-17.1 dla liczb), więc jest mało prawdopodobne, aby był to właściwy limit, chyba że naprawdę przesuwasz rzeczy. Jeśli naprawdę chcesz wypchnąć rzeczy poza dostępną pamięć systemową (64-bitowy jest tutaj obowiązkowy), warto rozważyć standardowe techniki bazodanowe omówione w podręczniku importu/eksportu lub opcje plików mapowanych w pamięci (jak pakiet ff). Widok zadania CRAN Wysokowydajne obliczenia są dobrym źródłem do tego celu.

Wreszcie, jeśli masz stosy pamięci RAM (16GB lub więcej) i potrzebujesz indeksowania 64-bitowego, może pojawić się w przyszłym wydaniu R. http://www.mail-archive.com/[email protected]/msg92035.html

Mogę odpowiedzieć tylko na temat read.table, ponieważ nie mam żadnego doświadczenia z dużymi zbiorami danych. read.table działa źle, jeśli nie podasz argumentów colClasses. Bez niego, read.table domyślnie NA i próbuje odgadnąć klasę każdej kolumny, a to może być powolne, zwłaszcza gdy masz dużo kolumn.

Podczas czytania dużych plików csv x GB <=> y.1e6 rows myślę, że data.table::fread (od wersji 1.8.7) jest najszybszą alternatywą, jaką możesz zrobić install.packages("data.table", repos="http://R-Forge.R-project.org")

Zwykle zyskujesz czynnik 5 do 10 (i wszystkie sep, row.names itp są rozpatrywane przez samą funkcję). Jeśli masz wiele plików i wystarczająco przyzwoity komputer (kilka rdzeni), polecam użycie pakietu parallel (jako część R. 2.14), aby załadować jeden plik na rdzeń.

Ostatnim razem zrobiłem to między monothreaded loading z read.csv i multithreaded na 4 rdzeniach użycie fread przeszedłem od 5 minut do 20 sekund