Zapis i dołączanie tablic float do jedynego zbioru danych w pliku hdf5 w C++

Jak dołączyć dane w tym przypadku? Jakiej funkcji muszę użyć?

Musisz użyć hyperslabs . To jest to, co trzeba napisać tylko część zbioru danych. Funkcją do tego celu jest H5Sselect_hyperslab. Użyj go na fd1 i użyj fd1 jako przestrzeni danych pliku w wywołaniu H5Dwrite.

Próbowałem umieścić flagę nieskończoności HDF5 w, ale wykonanie runtime narzeka.

Musisz utworzyć zbiór danych W aby móc ustawić jego maksymalny rozmiar na nieskończoność. Utwórz listę właściwości tworzenia zbiorów danych i użyj H5Pset_layout żeby było grube. Użycie H5Pset_chunk aby ustawić rozmiar kawałka. Następnie utwórz swój zestaw danych za pomocą tej listy właściwości.

Nie chcę obliczać danych, które mam za każdym razem; czy jest sposób, aby po prostu kontynuować dodawanie danych, bez dbania o wartość fdim?

You can do two rzeczy:

1. Wstępnie Oblicz ostateczny rozmiar, aby można było utworzyć zestaw danych wystarczająco duży. Wygląda na to, że to właśnie robisz.

2. Rozszerzaj swój zestaw danych podczas korzystania z niego H5Dset_extent. W tym celu musisz ustawić maksymalne wymiary na nieskończoność, więc potrzebujesz chunked dataset(patrz powyżej).

W obu przypadkach należy wybrać hyperslab w przestrzeni danych pliku w wywołaniu H5Dwrite (patrz wyżej).

Walkthrough working kod

#include <iostream>
#include <hdf5.h>

// Constants
const char saveFilePath[] = "test.h5";
const hsize_t ndims = 2;
const hsize_t ncols = 3;

int main()
{

Najpierw Utwórz plik hdf5.

    hid_t file = H5Fcreate(saveFilePath, H5F_ACC_TRUNC, H5P_DEFAULT, H5P_DEFAULT);
    std::cout << "- File created" << std::endl;

Następnie utwórz przestrzeń danych 2D. Wielkość pierwszego wymiaru jest nieograniczona. Ustawiamy go początkowo na 0, aby pokazać, w jaki sposób można rozszerzyć zbiór danych na każdym kroku. Możesz również ustawić go na przykład na rozmiar pierwszego bufora, który zamierzasz zapisać. Rozmiar drugiego wymiaru jest stały.

    hsize_t dims[ndims] = {0, ncols};
    hsize_t max_dims[ndims] = {H5S_UNLIMITED, ncols};
    hid_t file_space = H5Screate_simple(ndims, dims, max_dims);
    std::cout << "- Dataspace created" << std::endl;

Następnie utwórz listę właściwości tworzenia zestawu danych. Układ zbioru danych musi być chunked podczas korzystania z nieograniczonej wymiary. Wybór rozmiaru kawałka wpływa na wydajność, zarówno w czasie, jak i przestrzeni dyskowej. Jeśli kawałki są bardzo małe, będziesz miał dużo nad głową. Jeśli są one zbyt duże, możesz przydzielić miejsce, którego nie potrzebujesz, a Twoje pliki mogą być zbyt duże. Jest to przykład zabawki, więc wybierzemy kawałki jednej linii.

    hid_t plist = H5Pcreate(H5P_DATASET_CREATE);
    H5Pset_layout(plist, H5D_CHUNKED);
    hsize_t chunk_dims[ndims] = {2, ncols};
    H5Pset_chunk(plist, ndims, chunk_dims);
    std::cout << "- Property list created" << std::endl;

Utwórz zbiór danych.

    hid_t dset = H5Dcreate(file, "dset1", H5T_NATIVE_FLOAT, file_space, H5P_DEFAULT, plist, H5P_DEFAULT);
    std::cout << "- Dataset 'dset1' created" << std::endl;

Zamknij zasoby. Zbiór danych jest teraz tworzony, więc nie potrzebujemy już listy właściwości. Nie potrzebujemy pliku. dataspace już, ponieważ gdy zbiór danych zostanie rozszerzony, stanie się nieważny, ponieważ nadal będzie trzymał poprzedni zakres. Więc i tak będziemy musieli pobrać zaktualizowaną przestrzeń danych pliku.

    H5Pclose(plist);
    H5Sclose(file_space);

Dodamy teraz dwa bufory do końca zbioru danych. Pierwsza będzie miała dwie linie. Druga będzie miała trzy linie.

Pierwszy bufor

Tworzymy bufor 2D (sąsiadujący w pamięci, rząd główny). Przydzielimy wystarczającą ilość pamięci do przechowywania 3 linii, więc może ponownie użyć bufora. Stwórzmy tablicę wskaźników, abyśmy mogli użyć notacji b[i][j] zamiast buffer[i * ncols + j]. To jest czysto estetyczne.

    hsize_t nlines = 3;
    float *buffer = new float[nlines * ncols];
    float **b = new float*[nlines];
    for (hsize_t i = 0; i < nlines; ++i){
        b[i] = &buffer[i * ncols];
    }

Początkowe wartości w buforze do zapisania w zbiorze danych:

    b[0][0] = 0.1;
    b[0][1] = 0.2;
    b[0][2] = 0.3;
    b[1][0] = 0.4;
    b[1][1] = 0.5;
    b[1][2] = 0.6;

Tworzymy przestrzeń danych pamięci, aby wskazać rozmiar naszego bufora w pamięci. Pamiętaj, że pierwszy bufor ma tylko dwie linie.

    dims[0] = 2;
    dims[1] = ncols;
    hid_t mem_space = H5Screate_simple(ndims, dims, NULL);
    std::cout << "- Memory dataspace created" << std::endl;

Musimy teraz rozszerzyć zbiór danych. Ustawiamy początkowy rozmiar zbioru danych na 0x3, dlatego musimy go najpierw rozszerzyć. Uwaga że rozszerzamy sam zbiór danych, a nie jego przestrzeń danych. Pamiętaj, że pierwszy bufor ma tylko dwie linie.

    dims[0] = 2;
    dims[1] = ncols;
    H5Dset_extent(dset, dims);
    std::cout << "- Dataset extended" << std::endl;

Wybierz hyperslab na zbiorze danych pliku.

    file_space = H5Dget_space(dset);
    hsize_t start[2] = {0, 0};
    hsize_t count[2] = {2, ncols};
    H5Sselect_hyperslab(file_space, H5S_SELECT_SET, start, NULL, count, NULL);
    std::cout << "- First hyperslab selected" << std::endl;

Zapis bufora do zbioru danych. mem_space i file_space powinny teraz mieć taką samą liczbę wybranych elementów. Zauważ, że buffer i &b[0][0] są równoważne.

    H5Dwrite(dset, H5T_NATIVE_FLOAT, mem_space, file_space, H5P_DEFAULT, buffer);
    std::cout << "- First buffer written" << std::endl;

Możemy teraz zamknąć przestrzeń danych pliku. Możemy teraz zamknąć przestrzeń danych pamięci i utworzyć nowy dla drugiego bufora, ale po prostu zaktualizujemy jego rozmiar.

    H5Sclose(file_space);

Drugi bufor

Nowe wartości w buforze, które mają być dołączone do zbioru danych:

    b[0][0] = 1.1;
    b[0][1] = 1.2;
    b[0][2] = 1.3;
    b[1][0] = 1.4;
    b[1][1] = 1.5;
    b[1][2] = 1.6;
    b[2][0] = 1.7;
    b[2][1] = 1.8;
    b[2][2] = 1.9;

Zmień rozmiar przestrzeni danych pamięci, aby wskazać nowy Rozmiar naszego bufora. Drugi bufor ma trzy linie długości.

    dims[0] = 3;
    dims[1] = ncols;
    H5Sset_extent_simple(mem_space, ndims, dims, NULL);
    std::cout << "- Memory dataspace resized" << std::endl;

Rozszerz zbiór danych. Zauważ, że w tym prostym przykładzie wiemy, że 2 + 3 = 5. Ogólnie można odczytać bieżący zakres z pliku dataspace i dodaj do niego żądaną liczbę linii.

    dims[0] = 5;
    dims[1] = ncols;
    H5Dset_extent(dset, dims);
    std::cout << "- Dataset extended" << std::endl;

Wybierz hyperslab na pliku zestaw danych. Ponownie w tym prostym przykładzie wiemy, że 0 + 2 = 2. Ogólnie rzecz biorąc, można odczytać bieżący zakres z przestrzeni danych pliku. Drugi bufor ma trzy linie długości.

    file_space = H5Dget_space(dset);
    start[0] = 2;
    start[1] = 0;
    count[0] = 3;
    count[1] = ncols;
    H5Sselect_hyperslab(file_space, H5S_SELECT_SET, start, NULL, count, NULL);
    std::cout << "- Second hyperslab selected" << std::endl;

Dołączenie bufora do zbioru danych

    H5Dwrite(dset, H5T_NATIVE_FLOAT, mem_space, file_space, H5P_DEFAULT, buffer);
    std::cout << "- Second buffer written" << std::endl;

Koniec: zamknijmy wszystkie zasoby:

    delete[] b;
    delete[] buffer;
    H5Sclose(file_space);
    H5Sclose(mem_space);
    H5Dclose(dset);
    H5Fclose(file);
    std::cout << "- Resources released" << std::endl;
}

NB: usunąłem poprzednie aktualizacje, ponieważ odpowiedź była zbyt długa. Jeśli jesteś zainteresowany, Przejrzyj historię.