Skanowanie wierszy HTable dla określonej wartości kolumny za pomocą powłoki HBase

Nishu, oto rozwiązanie, z którego okresowo korzystam. W rzeczywistości jest o wiele potężniejszy, niż potrzebujesz teraz, ale myślę, że kiedyś użyjesz jego mocy. Tak, to jest dla powłoki HBase.

import org.apache.hadoop.hbase.filter.CompareFilter
import org.apache.hadoop.hbase.filter.SingleColumnValueFilter
import org.apache.hadoop.hbase.filter.SubstringComparator
import org.apache.hadoop.hbase.util.Bytes

scan 'yourTable', {LIMIT => 10, FILTER => SingleColumnValueFilter.new(Bytes.toBytes('family'), Bytes.toBytes('field'), CompareFilter::CompareOp.valueOf('EQUAL'), Bytes.toBytes('AAA')), COLUMNS => 'family:field' }

Zwracana jest tylko kolumna family:field z zastosowanym filtrem. Filtr ten można ulepszyć, aby wykonywać bardziej skomplikowane porównania.

Oto również wskazówki dla Ciebie, które uważam za najbardziej przydatne:

• http://hadoop-hbase.blogspot.com/2012/01/hbase-intra-row-scanning.html - Wyjaśnienie skanowania wewnątrz wiersza (Java API).
• https://hbase.apache.org/devapidocs/org/apache/hadoop/hbase/filter/FilterBase.html - JavaDoc dla klasy FilterBase z linkami do potomków, które w rzeczywistości mogą być używane w tym samym stylu. Ok, składnia powłoki będzie nieco inna, ale mając przykład powyżej możesz tego użyć.

Ponieważ było wiele próśb o wyjaśnienie ta odpowiedź ta dodatkowa odpowiedź została opublikowana.

Przykład 1

If

scan '<table>', { COLUMNS => '<column>', LIMIT => 3 }

Wróci:

ROW     COLUMN+CELL
ROW1    column=<column>, timestamp=<timestamp>, value=hello_value
ROW2    column=<column>, timestamp=<timestamp>, value=hello_value2
ROW3    column=<column>, timestamp=<timestamp>, value=hello_value3

Następnie ten filtr:

scan '<table>', { COLUMNS => '<column>', LIMIT => 3, FILTER => "ValueFilter( =, 'binaryprefix:hello_value2') AND ValueFilter( =, 'binaryprefix:hello_value3')" }

Wróci:

ROW     COLUMN+CELL
ROW2    column=<column>, timestamp=<timestamp>, value=hello_value2
ROW3    column=<column>, timestamp=<timestamp>, value=hello_value3

Przykład 2

If not is supported as well:

scan '<table>', { COLUMNS => '<column>', LIMIT => 3, FILTER => "ValueFilter( !=, 'binaryprefix:hello_value2' )" }

Wróci:

ROW     COLUMN+CELL
ROW1    column=<column>, timestamp=<timestamp>, value=hello_value
ROW3    column=<column>, timestamp=<timestamp>, value=hello_value3

Przykład tekstowego wyszukiwania wartości BIGBLUE w tabeli t1 z rodziną kolumn d: a_content. Skanowanie tabeli pokaże wszystkie dostępne wartości: -

scan 't1'
...
column=d:a_content, timestamp=1404399246216, value=BIGBLUE
...

Aby wyszukać tylko wartość BIGBLUE z limitem 1, spróbuj wykonać poniższe polecenie:-

scan 't1',{ COLUMNS => 'd:a_content', LIMIT => 1, FILTER => "ValueFilter( =, 'regexstring:BIGBLUE' )" }

COLUMN+CELL
column=d:a_content, timestamp=1404399246216, value=BIGBLUE

Oczywiście usunięcie limitu spowoduje wyświetlenie wszystkich wystąpień w tej tabeli / por.

Aby przeskanować tabelę w hbase na podstawie dowolnej wartości kolumny, SingleColumnValueFilter może być użyty jako:

scan 'tablename' ,
   { 
     FILTER => "SingleColumnValueFilter('column_family','col_name',>, 'binary:1')" 
   } 

Z HBase shell myślę, że nie jest to możliwe, ponieważ jest to trochę jak zapytanie, z którego używamy, aby znaleźć dane spsecific. Jak wiadomo HBase to noSQL więc gdy chcemy zastosować query lub jeśli mamy taki przypadek jak ty to myślę że należy użyć Hive lub PIG gdzie jako Hive jest ciche dobre podejście bo w PIG musimy zadzierać ze skryptami.
W każdym razie można uzyskać dobre guaidence o Ulu stąd integracja ula z HBase i z Tutaj
If yout only purpose jest, aby zobaczyć dane nie dostać z kodu (dowolnego klienta) następnie można użyć HBase Explorer lub nowy i bardzo dobry produkt, ale to jest w wersji beta jest "HBase manager". Możesz to pobrać z HBase Manager
Jego prosty, a co ważniejsze, pomaga wstawiać i usuwać dane, stosując filtry na kwalifikatorach kolumn z interfejsu użytkownika, podobnie jak inne Dbclienty. Spróbuj.
Mam nadzieję, że będzie to pomocne dla ciebie :)