"System.OutOfMemoryException ' został wyrzucony, gdy jest jeszcze dużo wolnej pamięci

Sprawdź, czy budujesz proces 64-bitowy, a nie 32-bitowy, który jest domyślnym trybem kompilacji programu Visual Studio. Aby to zrobić, kliknij prawym przyciskiem myszy swój projekt, Properties - > Build - > platform target : x64. Jak każdy 32-bitowy proces, aplikacje Visual Studio skompilowane w 32-bitach mają limit pamięci wirtualnej 2 GB.

64-bitowe procesy nie mają tego ograniczenia, ponieważ używają 64-bitowych wskaźników, więc ich teoretyczna maksymalna przestrzeń adresowa (rozmiar ich pamięci wirtualnej) wynosi 16 exabytes (2^64). W rzeczywistości Windows x64 ogranicza pamięć wirtualną procesów do 8 TB. Rozwiązaniem problemu ograniczenia pamięci jest skompilowanie w 64-bitowej wersji.

Rozmiar obiektu w Visual Studio jest domyślnie ograniczony do 2 GB. Będziesz mógł utworzyć kilka tablic, których łączny rozmiar będzie większy niż 2GB, ale domyślnie nie możesz tworzyć tablic większych niż 2GB. Mam nadzieję, że jeśli nadal chcesz tworzyć tablice większe niż 2GB, możesz to zrobić, dodając następujący kod do ciebie app.plik konfiguracyjny:

<configuration>
  <runtime>
    <gcAllowVeryLargeObjects enabled="true" />
  </runtime>
</configuration>

Nie masz ciągłego bloku pamięci w celu przydzielenia 762mb, twoja pamięć jest fragmentowana i alokator nie może znaleźć wystarczająco dużego otworu, aby przydzielić potrzebną pamięć.

1. Możesz spróbować pracować z /3GB (jak sugerowali inni)
2. lub przełączyć się na 64-bitowy system operacyjny.
3. lub zmodyfikować algorytm, aby nie potrzebował dużej ilości pamięci. może przydzielić kilka mniejszych (względnie) kawałków pamięci.

Jak zapewne się zorientowałeś, problem polega na tym, że próbujesz przydzielić jeden duży sąsiadujący blok pamięci, który nie działa z powodu fragmentacji pamięci. Gdybym potrzebował zrobić to, co robisz, zrobiłbym to:

int sizeA = 10000,
    sizeB = 10000;
double sizeInMegabytes = (sizeA * sizeB * 8.0) / 1024.0 / 1024.0; //762 mb
double[][] randomNumbers = new double[sizeA][];
for (int i = 0; i < randomNumbers.Length; i++)
{
    randomNumbers[i] = new double[sizeB];
}

Następnie, aby uzyskać konkretny indeks, użyjesz randomNumbers[i / sizeB][i % sizeB].

Inną opcją, jeśli zawsze masz dostęp do wartości w kolejności, może być użycie przeciążonego konstruktora do określenia ziarna. W ten sposób otrzymamy semi losową liczbę (jak na DateTime.Now.Ticks) przechowuj go w zmiennej, a gdy zaczniesz przeglądać listę, utworzysz nową instancję losową, używając oryginalnego zalążka:

private static int randSeed = (int)DateTime.Now.Ticks;  //Must stay the same unless you want to get different random numbers.
private static Random GetNewRandomIterator()
{
    return new Random(randSeed);
}

Ważne jest, aby pamiętać, że podczas gdy blog linkowany w odpowiedzi Fredrika mörka wskazuje, że problem jest zwykle spowodowany brakiem przestrzeni adresowej , nie wymienia on wielu innych problemów, takich jak ograniczenie rozmiaru obiektu CLR 2GB (wspomniane w komentarzu od ShuggyCoUk na tym samym blogu), fragmentacji pamięci i nie wspomina o wpływie rozmiaru pliku strony (i o tym, jak można go rozwiązać za pomocą CreateFileMapping function).

Ograniczenie 2GB oznacza, że randomNumbers musi być mniejsze niż 2GB. Ponieważ tablice są klasami i mają narzut, oznacza to, że tablica double będzie musiała być mniejsza niż 2^31. Nie jestem pewien, o ile mniejsza niż 2^31 Długość musiałaby być, ale Overhead tablicy. NET? wskazuje 12 - 16 bajtów.

Ponieważ większość programów żąda pamięci roboczej z systemu operacyjnego i nie żąda mapowania plików, będą one ograniczone przez pamięć RAM systemu i rozmiar pliku strony. Jak zaznaczono w komentarzu Néstora Sáncheza (Néstor Na blogu z zarządzanym kodem jak C# przyklejasz się do ograniczenia plików RAM/page i przestrzeni adresowej systemu operacyjnego.

Odradzam opcję / 3GB Windows boot. Poza wszystkim innym (to przesada zrobić to dla jednej źle zachowującej się aplikacji, a to pewnie i tak nie rozwiąże Twojego problemu), może spowodować dużą niestabilność.

Wiele sterowników Windows nie jest testowanych z tą opcją, więc sporo z nich zakłada, że wskaźniki trybu użytkownika zawsze wskazują na niższe 2GB przestrzeni adresowej. Co oznacza, że mogą się strasznie zepsuć z / 3GB.

Jednak Windows robi normalnie ogranicz proces 32-bitowy do 2 GB przestrzeni adresowej. Ale to nie znaczy, że powinieneś spodziewać się możliwości przydzielenia 2GB!

Przestrzeń adresowa jest już zaśmiecona różnego rodzaju przydzielonymi danymi. Jest stos i wszystkie załadowane zespoły, zmienne statyczne i tak dalej. Nie ma gwarancji, że w dowolnym miejscu będzie 800MB sąsiedniej nieprzydzielonej pamięci.

Przydzielenie 2 400MB kawałków byłoby chyba lepsze. Lub 4 kawałki 200MB. Mniejsze przydziały są znacznie łatwiejsze do znajdź miejsce na fragmentaryczną przestrzeń pamięci.

W każdym razie, jeśli i tak zamierzasz wdrożyć to na maszynie 12GB, będziesz chciał uruchomić to jako 64-bitową aplikację, która powinna rozwiązać wszystkie problemy.

Zmiana z 32 NA 64 bit zadziałała dla mnie-warto spróbować, jeśli jesteś na 64 bitowym komputerze i nie musisz portować.

Jeśli potrzebujesz tak dużych struktur, być może mógłbyś wykorzystać pliki mapowane pamięcią. Ten artykuł może okazać się pomocny: http://www.codeproject.com/KB/recipes/MemoryMappedGenericArray.aspx

, Dejan

32-bitowy windows ma limit pamięci procesowej 2GB. Opcja rozruchu / 3GB, o której wspominali inni, sprawi, że ten 3GB pozostanie tylko 1gb do użytku z jądrem systemu operacyjnego. Realistycznie, jeśli chcesz używać więcej niż 2GB bez kłopotów, wymagany jest 64-bitowy system operacyjny. To również rozwiązuje problem, w którym chociaż możesz mieć 4 GB fizycznej pamięci RAM, przestrzeń adresowa wymagana dla karty graficznej może sprawić, że spory uchwyt tej pamięci będzie bezużyteczny - zwykle około 500 MB.

Zamiast przydzielać ogromną tablicę, czy mógłbyś spróbować użyć iteratora? Są one wykonywane z opóźnieniem, co oznacza, że wartości są generowane tylko tak, jak są wymagane w instrukcji foreach; nie powinno zabraknąć pamięci w ten sposób:

private static IEnumerable<double> MakeRandomNumbers(int numberOfRandomNumbers) 
{
    for (int i = 0; i < numberOfRandomNumbers; i++)
    {
        yield return randomGenerator.GetAnotherRandomNumber();
    }
}


...

// Hooray, we won't run out of memory!
foreach(var number in MakeRandomNumbers(int.MaxValue))
{
    Console.WriteLine(number);
}

Powyższe wygeneruje tyle losowych liczb, ile chcesz, ale wygeneruje je tylko tak, jak są wymagane za pomocą instrukcji foreach. W ten sposób nie zabraknie Ci pamięci.

Alternatywnie, jeśli musisz mieć je wszystkie w jednym miejscu, przechowuj je w plik zamiast w pamięci.

Cóż, mam podobny problem z dużym zestawem danych i próba zmuszenia aplikacji do użycia tak dużej ilości danych nie jest naprawdę właściwą opcją. Najlepszą wskazówką, jaką mogę ci dać, jest przetwarzanie danych w małych kawałkach, jeśli jest to możliwe. Ponieważ radzenie sobie z tak dużą ilością danych, problem prędzej czy później powróci. Ponadto nie możesz znać konfiguracji każdego komputera, na którym będzie uruchamiana Twoja aplikacja, więc zawsze istnieje ryzyko, że wyjątek pojawi się na innym komputerze.

Miałem podobny problem, to było spowodowane StringBuilder.ToString ();

Przekonwertuj swoje rozwiązanie na x64. Jeśli nadal napotykasz problem, przyznaj maksymalną długość wszystkim, co powoduje wyjątek, jak poniżej:

 var jsSerializer = new JavaScriptSerializer();
 jsSerializer.MaxJsonLength = Int32.MaxValue;

Jeśli nie potrzebujesz procesu hostingu Visual Studio:

Usuń zaznaczenie opcji: Project->Properties->Debug - > Enable the Visual Studio Hosting Process

A następnie budować.

Jeśli nadal masz problem:

Przejdź do linii poleceń Project->Properties->Build Events->post-Build Event i wklej następujący tekst:

call "$(DevEnvDir)..\..\vc\vcvarsall.bat" x86
"$(DevEnvDir)..\..\vc\bin\EditBin.exe" "$(TargetPath)"  /LARGEADDRESSAWARE

Zwiększ limit procesu Windows do 3gb. (poprzez boot.ini lub Vista Boot manager)