Zliczanie ilości plików w katalogu za pomocą Javy

Ah... powodem braku prostej metody w Javie jest abstrakcja przechowywania plików: niektóre systemy plików mogą nie mieć łatwo dostępnej liczby plików w katalogu... liczba ta może nawet nie mieć żadnego znaczenia (zobacz na przykład rozproszone, systemy plików P2P, systemy plików przechowujące listy plików jako listy połączone lub systemy plików wspierane przez bazy danych...). Więc tak,

new File(<directory path>).list().length

To chyba najlepsza opcja.

Od Javy 8 można to zrobić w trzech liniach:

try (Stream<Path> files = Files.list(Paths.get("your/path/here"))) {
    long count = files.count();
}

W odniesieniu do 5000 węzłów potomnych i aspektów i-węzłów:

Ta metoda będzie iterować nad wpisami, ale jak zasugerował Varkhan, prawdopodobnie nie możesz zrobić lepiej poza grą z JNI lub bezpośrednimi komendami systemowymi, ale nawet wtedy, nigdy nie możesz być pewien, że te metody nie robią tego samego!

Jednak zagłębimy się w to trochę:

W systemach uniksowych (dekompilowany sun.nio.fs.UnixFileSystemProvider.class) ładuje iterator: używany jest sun.nio.fs.UnixSecureDirectoryStream (z blokadą plików podczas iteracji przez katalog).

Istnieje więc iterator, który będzie przeszukiwał wpisy tutaj.

Rzeczywista liczba jest wykonywana przez API redukujące liczbę/sumę wystawione przez strumienie Java 8. Teoretycznie ten API może wykonywać operacje równoległe bez większego wysiłku (z multihtreading). Jednak strumień jest tworzony z wyłączoną równoległością, więc nie ma go...

Dobrą stroną tego podejścia jest to, że nie ładuje tablicy w pamięci, ponieważ wpisy będą liczone przez iterator, tak jak są odczytywane przez bazowe (system plików) API.

Wreszcie, dla informacji, koncepcyjnie w systemie plików, węzeł katalogowy nie jest wymagany do przechowywania numeru plików, które zawiera, Może po prostu zawiera listę węzłów potomnych (lista i-węzłów). Nie jestem ekspertem od systemów plików, ale wierzę, że systemy plików UNIX działają tak samo. Nie można więc zakładać, że istnieje sposób, aby mieć te informacje bezpośrednio (tzn.: zawsze może być gdzieś ukryta lista węzłów potomnych).

Niestety, uważam, że jest to już najlepszy sposób (chociaż list() jest nieco lepszy niż listFiles(), ponieważ nie konstruuje File obiektów).

Ponieważ tak naprawdę nie potrzebujesz liczby całkowitej, a w rzeczywistości chcesz wykonać czynność po określonej liczbie( w Twoim przypadku 5000), możesz użyć java.nio.file.Files.newDirectoryStream. Zaletą jest to, że możesz wyjść wcześniej, zamiast przechodzić przez cały katalog, aby uzyskać licznik.

public boolean isOverMax(){
    Path dir = Paths.get("C:/foo/bar");
    int i = 1;

    try (DirectoryStream<Path> stream = Files.newDirectoryStream(dir)) {
        for (Path p : stream) {
            //larger than max files, exit
            if (++i > MAX_FILES) {
                return true;
            }
        }
    } catch (IOException ex) {
        ex.printStackTrace();
    }

    return false;
}

Interfejs doc dla DirectoryStream ma również kilka dobrych przykładów.

Jeśli masz katalogi zawierające naprawdę (>100 ' 000) wiele plików, oto (nie-przenośny) sposób:

String directoryPath = "a path";

// -f flag is important, because this way ls does not sort it output,
// which is way faster
String[] params = { "/bin/sh", "-c",
    "ls -f " + directoryPath + " | wc -l" };
Process process = Runtime.getRuntime().exec(params);
BufferedReader reader = new BufferedReader(new InputStreamReader(
    process.getInputStream()));
String fileCount = reader.readLine().trim() - 2; // accounting for .. and .
reader.close();
System.out.println(fileCount);

Używanie sigar powinno pomóc. Sigar ma natywne Hooki, aby uzyskać statystyki

new Sigar().getDirStat(dir).getTotal()

Niestety, jak mmyers powiedział, plik.list() jest mniej więcej tak szybki, jak przy użyciu Javy. Jeśli prędkość jest tak ważna, jak mówisz, warto rozważyć wykonanie tej konkretnej operacji za pomocą JNI . Następnie możesz dostosować swój kod do konkretnej sytuacji i systemu plików.

public void shouldGetTotalFilesCount() {
    Integer reduce = of(listRoots()).parallel().map(this::getFilesCount).reduce(0, ((a, b) -> a + b));
}

private int getFilesCount(File directory) {
    File[] files = directory.listFiles();
    return Objects.isNull(files) ? 1 : Stream.of(files)
            .parallel()
            .reduce(0, (Integer acc, File p) -> acc + getFilesCount(p), (a, b) -> a + b);
}