Różnica między HBase a Hadoop/HDFS

Apache Hadoop projekt zawiera cztery kluczowe Moduły

1. Hadoop Common : wspólne narzędzia obsługujące inne moduły Hadoop.
2. Hadoop Distributed File System (HDFS™): rozproszony system plików, który zapewnia dostęp do danych aplikacji o dużej przepustowości.
3. Hadoop YARN : framework do planowania zadań i zarządzania zasobami klastra.
4. Hadoop MapReduce: a YARN - oparty na systemie równoległym przetwarzanie dużych zbiorów danych.

HBase {[8] } jest skalowalną, rozproszoną bazą danych, która obsługuje strukturyzowane przechowywanie danych dla dużych tabel. Podobnie jak Bigtable wykorzystuje rozproszony magazyn danych dostarczany przez system plików Google, Apache HBase zapewnia funkcje podobne do Bigtable na bazie Hadoop i HDFS.

kiedy stosować HBase:

1. Jeśli aplikacja ma schemat zmiennej, gdzie każdy wiersz jest nieco inny
2. Jeśli znajdziesz, że Twoje dane są przechowywane w kolekcjach, które są oznaczone tą samą wartością
3. jeśli potrzebujesz losowego dostępu do odczytu/zapisu w czasie rzeczywistym do swoich dużych danych.
4. jeśli potrzebujesz dostępu do danych w oparciu o klucze podczas przechowywania lub pobierania.
5. Jeśli posiadasz ogromną ilość danych z istniejącym klastrem Hadoop

Ale HBase ma pewne ograniczenia

1. nie może być używany do klasycznych aplikacji transakcyjnych lub nawet analityki relacyjnej.
2. to również nie jest kompletny substytut HDFS podczas wykonywania dużych map wsadowych.
3. nie mówi po SQL, ma optymalizator, obsługuje transakcje krzyżowe rekordów lub łączy.
4. nie może być używany ze skomplikowanymi wzorcami dostępu (np. złączeniami)

Podsumowanie:

Rozważ HBase, gdy wczytywasz dane według klucza, przeszukiwasz dane według klucza (lub zakresu), obsługujesz dane według klucza, odpytywasz dane według klucza lub gdy przechowujesz dane według wiersza, który nie jest dobrze zgodny z schemat.

Zajrzyj do 'S and Don' t of HBase zcloudera blog.

Hadoop używa rozproszonego systemu plików tj. HDFS do przechowywania bigdata.Istnieją jednak pewne ograniczenia HDFS i aby je przezwyciężyć,powstały bazy danych NoSQL,takie jak HBase,Cassandra i Mongodb.

Hadoop może wykonywać tylko przetwarzanie wsadowe, a dane będą dostępne tylko w sposób sekwencyjny. Oznacza to, że trzeba przeszukiwać cały zbiór danych nawet dla najprostszych zadań.Ogromny zbiór danych po przetworzeniu skutkuje kolejnym ogromnym zbiorem danych, który również powinien być przetwarzane kolejno. W tym momencie potrzebne jest nowe rozwiązanie, aby uzyskać dostęp do dowolnego punktu danych w jednej jednostce czasu (dostęp losowy).

Podobnie jak wszystkie inne systemy plików, HDFS zapewnia nam pamięć masową, ale w sposób odporny na błędy, z dużą przepustowością i mniejszym ryzykiem utraty danych (z powodu replikacji).Ale , jako System plików, HDFS nie ma losowego dostępu do odczytu i zapisu. Tutaj pojawia się HBase. Jest to rozproszony, skalowalny, duży magazyn danych, wzorowany na BigTable Google. Cassandra jest nieco podobna do hbase.

Zarówno HBase jak i HDFS na jednym zdjęciu

Uwaga:

Sprawdź demony HDFS (zaznaczone na Zielono) jak DataNode(serwery regionu kolokowanego) i NameNode w klastrze z have both HBase and Hadoop HDFS

HDFS jest rozproszonym systemem plików, który doskonale nadaje się do przechowywania dużych plików. który nie zapewnia szybkiego wyszukiwania pojedynczych rekordów w plikach.

HBase , na z drugiej strony, jest zbudowany na bazie HDFS i zapewnia szybkie wyszukiwanie rekordów (i aktualizacje) dla dużych tabel. Czasami może to być punkt pojęciowego zamętu. HBase wewnętrznie umieszcza twoje dane w zindeksowanych "plikach magazynowych", które istnieją na HDFS w celu szybkiego wyszukiwania.

Jak to wygląda?

• Region Server-HBase
• Węzeł Danych - HDFS

Jak to jest szybko z lookup?

• Tabela

  • tabela HBase składa się z wielu wierszy.

• Wiersz

  • wiersz w HBase składa się z klucza wiersza i jednej lub więcej kolumn z wartościami z nimi związanymi. Wiersze są sortowane alfabetycznie według klucza wiersza. Z tego powodu konstrukcja klucza wiersza jest bardzo ważna. Celem jest przechowywanie danych w taki sposób, aby Powiązane wiersze znajdowały się blisko siebie. Wspólny wzór klucza wiersza to domena internetowa. Jeśli Twoje klucze wiersza są domenami, prawdopodobnie powinieneś przechowywać je w odwrotnej kolejności (org.Apacz.www, org.Apacz.poczta, org.Apacz.jira). W ten sposób wszystkie domeny Apache są blisko siebie w tabeli, a nie są rozłożone na podstawie pierwszej litery subdomena.

• Kolumna

  • kolumna w HBase składa się z rodziny kolumn i kwalifikatora kolumn, które są oddzielone znakiem : (dwukropek).

• Rodzina Kolumn

  • rodziny kolumn fizycznie kolokują zestaw kolumn i ich wartości, często ze względów wydajnościowych. Każda rodzina kolumn ma zestaw właściwości przechowywania, takich jak to, czy jej wartości powinny być buforowane w pamięci, jak jej dane są kompresowane lub wiersz klucze są zakodowane, i inne. Każdy wiersz w tabeli ma te same rodziny kolumn, chociaż dany wiersz może nie przechowywać niczego w danej rodzinie kolumn.

• Kwalifikator Kolumn

  • kwalifikator kolumn jest dodawany do rodziny kolumn, aby zapewnić indeks dla danego fragmentu danych. Biorąc pod uwagę zawartość rodziny kolumn, kwalifikatorem kolumn może być content: html, a innym może być content: pdf. Chociaż rodziny kolumn są stałe przy tworzeniu tabeli, kwalifikatory kolumn są zmienny i może się znacznie różnić między rzędami.

• Komórka

  • komórka jest kombinacją wierszy, rodziny kolumn i kwalifikatora kolumn i zawiera wartość oraz znacznik czasu, który reprezentuje wersję wartości.

• Timestamp

  • znacznik czasu jest zapisywany obok każdej wartości i jest identyfikatorem dla danej wersji wartości. Domyślnie znacznik czasu reprezentuje czas na serwerze regionu, kiedy dane zostały zapisane, możesz jednak określić inną wartość znacznika czasu podczas umieszczania danych w komórce.

Client read request flow:

Czym jest tabela meta na powyższym obrazku?

Po wszystkich informacji, HBase read flow jest dla lookup dotyka tych encji

1. najpierw skaner szuka komórek wiersza w Block cache - pamięci podręcznej odczytu. Ostatnio Odczytany Klucz Wartości są tu buforowane, a ostatnio używane są usuwane, gdy potrzebna jest pamięć.
2. następnie skaner zagląda do MemStore , pamięci podręcznej zapisu w pamięci zawierającej najnowsze zapisy.
3. jeśli skaner nie znajdzie wszystkich komórek wiersza w MemStore i Block Cache, to HBase użyje indeksów Block Cache i filtrów bloom do załadowania plików HFiles do pamięci, która może zawierać docelowe komórki wiersza.

Źródła i więcej informacji:

1. model danych HBase
2. HBase architecute

Odniesienie: http://www.quora.com/What-is-the-difference-between-HBASE-and-HDFS-in-Hadoop

Hadoop to ogólna nazwa kilku podsystemów: 1) HDFS. Rozproszony system plików, który dystrybuuje dane w klastrze maszyn dbających o redundancję itp 2) Zmniejszenie Mapy. System zarządzania zadaniami na HDFS-do zarządzania mapami-redukuje (i inne typy) zadania przetwarzające dane przechowywane na HDFS.

Zasadniczo oznacza to system offline-przechowujesz dane na HDFS i możesz go przetworzyć, uruchamiając zadania.

HBase z drugiej strony w bazie danych opartej na kolumnach. Używa HDFS jako pamięci masowej-która zajmuje się backup\redundency\etc, ale jest to "sklep internetowy" - co oznacza, że możesz odpytywać go o konkretny wiersz \ rows itp i uzyskać natychmiastową wartość.