Pobieranie plików z katalogu zawierającego dużą ilość plików

W. NET 4.0, Directory.EnumerateFiles(...) jest IEnumerable<string> (zamiast string[] z Directory.GetFiles(...)), więc może streamować wpisy zamiast buforować je wszystkie; np.

foreach(var file in Directory.EnumerateFiles(path)) {
    // ...
}

Uderzasz ograniczenie samego systemu plików Windows. Gdy liczba plików w katalogu rośnie do dużej liczby (a 14M przekracza ten próg), dostęp do katalogu staje się niewiarygodnie powolny. Nie ma znaczenia, czy czytasz jeden plik na raz, czy 1000, to tylko dostęp do katalogu.

Jednym ze sposobów rozwiązania tego problemu jest tworzenie podkatalogów i dzielenie plików na grupy. Jeśli każdy katalog ma 1000-5000 (zgaduję, ale można poeksperymentować z rzeczywistymi liczby), następnie należy uzyskać przyzwoitą wydajność otwierania/tworzenia / usuwania plików.

Dlatego, jeśli spojrzysz na aplikacje takie jak Doxygen, które tworzą plik dla każdej klasy, postępują zgodnie z tym schematem i umieszczają wszystko w 2 poziomach podkatalogów, które używają losowych nazw.

Użyj funkcji Win32 Api FindFile, aby to zrobić bez blokowania aplikacji.

Można również wywołać Directory.GetFiles w systemie .Gwintowanie.Zadanie (TPL), aby zapobiec zamrożeniu interfejsu użytkownika.

Smacznego.

    public List<string> LoadPathToAllFiles(string pathToFolder, int numberOfFilesToReturn)
    {
        var DirInfo = new DirectoryInfo(pathToFolder);
        var firstFiles = DirInfo.EnumerateFiles().Take(numberOfFilesToReturn).ToList();
        return firstFiles.Select(l => l.FullName).ToList();
    }

Często spotykam się z problemem dostępu do dużych plików w jednym katalogu. Podkatalogi są dobrym rozwiązaniem, ale wkrótce nawet nie oferują wiele pomocy czasami. To, co teraz robię, to tworzenie pliku indeksu - pliku tekstowego z nazwami wszystkich plików w katalogu (pod warunkiem, że tworzę pliki w tym katalogu). Następnie odczytuję plik indeksu, a następnie otwieram rzeczywisty plik z katalogu do przetworzenia