Zarządzanie pamięcią R / nie można przydzielić wektora wielkości N Mb

Dla użytkowników systemu Windows, poniższe bardzo pomogły mi zrozumieć pewne ograniczenia pamięci:

• przed otwarciem R otwórz monitor zasobów systemu Windows (Ctrl-Alt-Delete / Uruchom Menedżera zadań / kartę Wydajność / kliknij dolny przycisk "Monitor zasobów" / kartę pamięci)
• zobaczysz, ile pamięci RAM u nas już używane przed otwarciem R, i przez które aplikacje. W moim przypadku używa się 1,6 GB z wszystkich 4GB. Więc będę mógł dostać tylko 2,4 GB na R, ale teraz przychodzi tym gorzej...
• Otwórz R i Utwórz zestaw danych 1.5 GB, a następnie zmniejsz jego rozmiar do 0.5 GB, Monitor zasobów pokazuje, że moja pamięć RAM jest używana w prawie 95%.
• użyj {[0] } aby zrobić garbage collection = > to działa, widzę, że zużycie pamięci spadnie do 2 GB

Dodatkowa rada, która działa na mojej maszynie:

• Przygotuj funkcje, Zapisz jako plik RData, Zamknij R, Otwórz ponownie R i załaduj funkcje pociągu. Menedżer zasobów zazwyczaj pokazuje niższą Użycie pamięci, co oznacza, że nawet gc () nie odzyskuje całej możliwej pamięci, a zamknięcie/ponowne otwarcie R działa najlepiej, aby rozpocząć z maksymalną dostępną pamięcią.
• Druga sztuczka polega na załadowaniu zestawu treningowego tylko do treningu (nie ładuj zestawu testowego, który zazwyczaj może być o połowę mniejszy niż zestaw treningowy). Faza treningu może wykorzystywać pamięć do maksimum( 100%), więc wszystko, co dostępne, jest przydatne. Wszystko to ma być z przymrużeniem oka, ponieważ eksperymentuję z pamięcią R limity.

Poszedłem na stronę pomocy memory.limit i dowiedziałem się, że na moim komputerze r domyślnie może używać do ~ 1,5 GB PAMIĘCI RAM i że użytkownik może zwiększyć ten limit. Używając poniższego kodu,

>memory.limit()
[1] 1535.875
> memory.limit(size=1800)

Oto prezentacja na ten temat, która może Cię zainteresować:

Http://www.bytemining.com/2010/08/taking-r-to-the-limit-part-ii-large-datasets-in-r/

Sam nie próbowałem omawianych rzeczy, ale bigmemory pakiet wydaje się bardzo przydatny

Najprostszym sposobem na uniknięcie tego ograniczenia jest przejście na 64-bitowy R.

Napotkałem podobny problem i użyłem 2 pendrive 'ów jako 'ReadyBoost'. Oba dyski dały dodatkowe 8GB doładowania pamięci (dla pamięci podręcznej) i rozwiązały problem, a także zwiększyły szybkość systemu jako całości. Aby użyć Readyboost, kliknij prawym przyciskiem myszy na dysku, przejdź do właściwości i wybierz "ReadyBoost" i wybierz przycisk radiowy "użyj tego urządzenia" i kliknij zastosuj lub ok, aby skonfigurować.

Jeśli uruchamiasz skrypt w środowisku linux, możesz użyć tego polecenia:

bsub -q server_name -R "rusage[mem=requested_memory]" "Rscript script_name.R"

I serwer przydzieli żądaną pamięć dla Ciebie (zgodnie z limitami serwera, ale przy dobrym serwerze można użyć Plików)

Opisana powyżej metoda save/load działa dla mnie. Nie jestem pewien jak / Czy gc() defragmentuje pamięć, ale to chyba działa.

# defrag memory 
save.image(file="temp.RData")
rm(list=ls())
load(file="temp.RData")

Mam 2GB 32-bitowy laptop z windows 10. I miałem do czynienia z tym samym problemem R. Napotkałem problem nie można przydzielić wektora 150MB, i tak.. Włożyłem więcej pamięci RAM , płytę RAM o pojemności 1GB na moim laptopie, jeśli byłby to problem z pamięcią RAM, różnica 150MB zostałaby całkowicie pokryta.

Sytuacja wcale się nie poprawiła.. Miałem dokładnie taki sam problem jak z 2GB RAM... nie można przydzielić wektora 150Mb....Zrobiłem pamięć.limit trick i polecenie gc() wspomniane wcześniej, ale żadna różnica.

Jestem bardzo przekonany, że ten problem jest kwestią korzystania z 32-bitowego systemu operacyjnego i nie jest bezpośrednio związany z pamięcią RAM. Więc rozwiązaniem tego jest 64-bitowy OS.