Doradztwo w zakresie obsługi dużych ilości danych

Możesz rzucić okiem na wpisy w Wide Finder Project (Wykonaj wyszukiwanie w Google dla "wide finder" java ).

Wide finder polega na odczytywaniu wielu wierszy w plikach dziennika, więc spójrz na implementacje Javy i zobacz, co tam działało, a co nie.

Możesz przekonwertować na binarne, ale wtedy masz kopie danych 1+ coś, jeśli chcesz zachować oryginał.

Praktyczne może być zbudowanie pewnego rodzaju indeksu na oryginalnych danych ascii, tak aby w razie potrzeby przechodzić przez dane ponownie, można to zrobić szybciej w kolejnych czasach.

Aby odpowiedzieć na twoje pytania w kolejności:

Czy mam wczytać wszystko do pamięci na raz?

Nie, jeśli nie musisz. w przypadku niektórych plików możesz być w stanie, ale jeśli przetwarzasz sekwencyjnie, po prostu zrób jakiś buforowany odczyt rzeczy jeden po drugim, przechowując wszystko, czego potrzebujesz po drodze.

Jeśli nie, to czy otwarcie jest dobrym sposobem na częściowe wczytywanie danych?

BufferedReaders / etc jest najprostszy, chociaż można zajrzeć głębiej do FileChannel / etc, aby użyć memorymapped I / O, aby przejść przez okna danych na raz.

Jaka jest wydajność Javy napiwki?

To naprawdę zależy od tego, co robisz z danymi!

Bez żadnego dodatkowego wglądu w jaki rodzaj przetwarzania się dzieje, oto kilka ogólnych myśli z czasów, gdy wykonałem podobną pracę.

1. Napisz prototyp aplikacji (może nawet "jedną do wyrzucenia"), która wykona dowolną operację na twoim zestawie danych. Zobaczymy jak szybko pójdzie. Jeśli najprostsza, najbardziej naiwna rzecz, o której możesz pomyśleć, jest akceptowalnie szybka, nie martw się!

2. Jeśli naiwne podejście nie zadziała, rozważ wstępne przetwarzanie danych w taki sposób że kolejne biegi będą przebiegać w akceptowalnym czasie. Wspominasz o konieczności" skakania " w zestawie danych całkiem sporo. Jest jakiś sposób, żeby to wstępnie przetworzyć? Jednym z etapów wstępnego przetwarzania może być wygenerowanie jeszcze większej liczby danych-danych indeksowych-które zapewniają dokładne informacje o lokalizacji w bajtach o krytycznych, niezbędnych sekcjach zestawu danych. Następnie główny proces przetwarzania może wykorzystać te informacje, aby przejść bezpośrednio do niezbędnych danych.

Podsumowując, mój podejście byłoby spróbować czegoś prostego teraz i zobaczyć, jak wygląda wydajność. Może będzie dobrze. W przeciwnym razie przyjrzyj się przetwarzaniu danych w wielu krokach, oszczędzając Najdroższe operacje na rzadkie przetwarzanie wstępne.

Nie "ładuj wszystkiego do pamięci". Wystarczy wykonać dostęp do plików i pozwolić pamięci podręcznej strony dysku systemu operacyjnego zdecydować, kiedy rzeczywiście wyciągniesz rzeczy bezpośrednio z pamięci.

To w dużej mierze zależy od danych w pliku. Duże ramki mainframe od dawna przetwarzają sekwencyjne dane, ale zwykle nie używają do nich dostępu losowego. Po prostu ciągną go w linii na raz i przetwarzają tyle, zanim kontynuują.

W przypadku dostępu losowego często najlepiej jest budować obiekty z opakowaniami buforującymi, które wiedzą, gdzie w pliku znajdują się dane, które muszą skonstruować. W razie potrzeby odczytują te dane i konstruują się. W ten sposób, gdy pamięć jest tight możesz po prostu zacząć zabijać rzeczy, nie martwiąc się zbytnio o to, że nie będziesz w stanie odzyskać tego później.

Naprawdę nie dałeś nam wystarczająco dużo informacji, aby ci pomóc. Czy musisz załadować każdy plik w całości, aby go przetworzyć? Czy możesz przetwarzać go linia po linii?

Ładowanie całego pliku na raz może spowodować słabą wydajność nawet dla plików, które nie są zbyt duże. Najlepszym rozwiązaniem jest zdefiniowanie rozmiaru bufora, który działa dla Ciebie i odczytywanie / przetwarzanie danych w buforze na raz.

Uważam, że Informatica jest wyjątkowo użytecznym narzędziem do przetwarzania danych. Dobrą wiadomością jest to, że nowsze wersje umożliwiają nawet transformacje Javy. Jeśli masz do czynienia z terabajtami danych, może nadszedł czas, aby wybrać najlepsze w swojej klasie narzędzia ETL.

Zakładam, że chcesz zrobić coś z wynikami przetwarzania tutaj, na przykład przechowywać je gdzieś.

Jeśli Twoje dane liczbowe są regularnie próbkowane i musisz zrobić losowy dostęp, rozważ, aby zapisać je w quadtree.

Zalecam silne wykorzystanie wyrażeń regularnych i zajrzenie do" nowego " pakietu IO nio dla szybszego wprowadzania danych. Wtedy powinno pójść tak szybko, jak można realistycznie oczekiwać gigabajtów danych, aby przejść.

Jeśli to w ogóle możliwe, Pobierz dane do bazy danych. Następnie możesz wykorzystać wszystkie dostępne tam funkcje indeksowania, buforowania, przypinania pamięci i inne.

Jeśli chcesz uzyskać dostęp do danych więcej niż jeden raz, załaduj je do bazy danych. Większość baz danych ma jakiś rodzaj narzędzia do masowego ładowania. Jeśli wszystkie dane mieszczą się w pamięci, a nie musisz ich trzymać lub uzyskiwać do nich tak często dostępu, prawdopodobnie możesz napisać coś prostego w Perlu lub ulubionym języku skryptowym.