Jak Hive porównuje się do HBase?

Z jednej perspektywy, Hive składa się z pięciu głównych komponentów: gramatyki i parsera podobnego do SQL, planisty zapytań, silnika wykonywania zapytań, repozytorium metadanych i układu przechowywania kolumnowego. Jego głównym celem są obciążenia analityczne w stylu hurtowni danych, więc pobieranie wartości według kluczy z niskim opóźnieniem nie jest konieczne.

HBase ma własne repozytorium metadanych i układ przechowywania kolumnowego. Możliwe jest tworzenie zapytań HiveQL nad tabelami HBase, dzięki czemu HBase może korzystać z Gramatyka i parser Hive ' a, planista zapytań i silnik wykonywania zapytań. Zobacz http://wiki.apache.org/hadoop/Hive/HBaseIntegration Po Więcej Szczegółów.

Hive jest narzędziem analitycznym. Podobnie jak pig, został zaprojektowany do doraźnego przetwarzania wsadowego potencjalnie obfitych ilości danych poprzez wykorzystanie map reduce. Pomyśl o terrabytach. Wyobraź sobie, że próbujesz to zrobić w relacyjnej bazie danych...

HBase jest przechowywaniem wartości klucza w kolumnach opartych na BigTable. Nie możesz wykonywać zapytań per se, chociaż możesz uruchomić zadania map reduce nad HBase. Podstawowym przypadkiem użycia jest pobieranie wierszy według klucza lub skanowanie zakresów wierszy. Główną cechą jest możliwość posiadania danych lokalizacja podczas skanowania w zakresach kluczy wierszy w poszukiwaniu "rodziny" kolumn.

Według mojej skromnej wiedzy, Hive jest bardziej porównywalny do świni. Hive jest podobny do SQL, a Pig jest oparty na skrypcie. Hive wydaje się być bardziej skomplikowany z silnikami optymalizacji i wykonywania zapytań, a także wymaga, aby użytkownik końcowy musiał określić parametry schematu (partycja itp.). Oba są przeznaczone do przetwarzania plików tekstowych lub plików sekwencyjnych.

HBase służy do przechowywania i pobierania danych wartości klucza...możesz skanować lub filtrować te kluczowe pary wartości (wiersze). Nie można wykonywać zapytań w wierszach (klucz, wartość).

Hive i HBase są używane do różnych celów .

Hive:

Plusy:

1. [1]}Apache Hive jest infrastrukturą hurtowni danych zbudowaną na bazie Hadoop .
2. pozwala na wyszukiwanie danych przechowywanych na HDFS do analizy za pomocą HQL , języka podobnego do SQL , który zostanie przekształcony w serię Map Reduce Jobs
3. działa tylko wsad procesy na Hadoop.
Jest zgodny z JDBC , integruje się również z istniejącymi narzędziami bazującymi na SQL
4. Hive obsługuje partycje
5. obsługuje analityczne wyszukiwanie danych zebranych w okresie czasu

Wady:

Obecnie nie obsługuje instrukcji aktualizacji [24]}
1. powinien być dostarczony z predefiniowanym schematem mapowania plików i katalogów na kolumny

HBase:

Plusy:

1. skalowalna, rozproszona baza danych , która obsługuje strukturyzowane przechowywanie danych dla dużych tabel
2. zapewnia losowy dostęp odczytu/zapisu w czasie rzeczywistym do dużych danych. Operacje HBase są uruchamiane w czasie rzeczywistym w bazie danych, a nie w zadaniach MapReduce.]}
3. obsługuje partycje do tabel, a tabele są dalej dzielone na rodziny kolumn
4. wagi poziomo z ogromną ilością danych za pomocą Hadoop
5. zapewnia kluczowy dostęp do danych podczas przechowywania lub pobierania. To obsługuje dodawanie lub aktualizowanie wierszy.
6. Obsługuje wersjonowanie danych.

Wady:

1. zapytania HBase są pisane w niestandardowym języku, którego trzeba się nauczyć
2. Hbaza nie jest w pełni zgodna z kwasami
Nie można go używać ze skomplikowanymi wzorcami dostępu (np. złączeniami).]}
3. jest to również nie jest kompletnym substytutem HDFS podczas wykonywania dużych MapReduce wsadowych

Podsumowanie:

Hive może być używany do zapytań analitycznych, podczas gdy HBase do zapytań w czasie rzeczywistym. Dane mogą być nawet odczytywane i zapisywane z ula do HBase i z powrotem.

Od najnowszych wydań Hive wiele się zmieniło, co wymaga małej aktualizacji, ponieważ Hive i HBase są teraz zintegrowane. Oznacza to, że Hive może być używany jako warstwa zapytań do magazynu danych HBase. Teraz, jeśli ludzie szukają alternatywnych interfejsów HBase, Pig oferuje również bardzo ładny sposób ładowania i przechowywania danych HBase . Dodatkowo, wygląda na to, że Cloudera Impala może oferować znaczne zapytania oparte na Hive wydajności na szczycie HBase. Są to zgłaszaj do 45 razy szybsze zapytania w porównaniu z tradycyjnymi ustawieniami Ula.

Aby porównać Hive z Hbase, chciałbym przypomnieć definicję poniżej:

Baza danych przeznaczona do obsługi transakcji nie jest przeznaczona do obsługi analityka. Nie jest skonstruowany tak, aby dobrze wykonywać analizy. Hurtownia danych, z drugiej strony jest skonstruowany tak, aby analityka była szybka i łatwa.

Hive to Infrastruktura hurtowni danych zbudowana na bazie Hadoop, która nadaje się do długotrwałych zadań ETL. Hbase to baza danych przeznaczona do obsługi czasu rzeczywistego transakcje