Jak mogę wypisać wyniki zapytania HiveQL do pliku CSV?

Jeśli chcesz mieć plik CSV, możesz zmodyfikować rozwiązania Lukasa w następujący sposób (zakładając, że jesteś na Linuksie):

hive -e 'select books from table' | sed 's/[[:space:]]\+/,/g' > /home/lvermeer/temp.csv

Aby utworzyć katalog w HDFS z plikami zawierającymi wyniki zapytania, należy użyć polecenia CREATE TABLE AS SELECT (CTAS). Następnie będziesz musiał wyeksportować te pliki z HDFS na zwykły dysk i scalić je w jeden plik.

Być może będziesz musiał zrobić kilka sztuczek, aby przekonwertować pliki z' \001 ' - rozdzielane do CSV. Możesz użyć niestandardowego serwera CSV lub przetworzyć wyodrębniony plik.

Jeśli używasz HUE, jest to również dość proste. Po prostu przejdź do edytora Hive w HUE, wykonaj zapytanie hive, a następnie zapisz plik wynikowy lokalnie jako XLS lub CSV, lub możesz zapisać plik wynikowy do HDFS.

Szukałem podobnego rozwiązania, ale te, o których tu mowa, nie zadziałały. Moje dane miały wszystkie odmiany znaków spacji (spacja, znak nowej linii, tabulator) i przecinków.

Aby dane kolumny były bezpieczne, zamieniłem wszystkie znaki \t w danych kolumny spacją i wykonałem kod Pythona w wierszu poleceń, aby wygenerować plik csv, jak pokazano poniżej:

hive -e 'tab_replaced_hql_query' |  python -c 'exec("import sys;import csv;reader = csv.reader(sys.stdin, dialect=csv.excel_tab);writer = csv.writer(sys.stdout, dialect=csv.excel)\nfor row in reader: writer.writerow(row)")'

To stworzyło doskonale poprawny plik csv. Mam nadzieję, że pomoże to tym, którzy przychodzą szukać tego rozwiązania.

Możesz użyć funkcji hive string CONCAT_WS( string delimiter, string str1, string str2...strn )

Dla ex:

hive -e 'select CONCAT_WS(',',cola,colb,colc...,coln) from Mytable' > /home/user/Mycsv.csv

Możesz użyć INSERT ... DIRECTORY ..., jak w tym przykładzie:

INSERT OVERWRITE LOCAL DIRECTORY '/tmp/ca_employees'
SELECT name, salary, address
FROM employees
WHERE se.state = 'CA';

OVERWRITE i LOCAL mają takie same interpretacje jak poprzednio, a ścieżki są interpretowane zgodnie ze zwykłymi zasadami. Jeden lub więcej plików zostanie zapisanych do /tmp/ca_employees, w zależności od liczby wywoływanych reduktorów.

Miałem podobny problem i w ten sposób udało mi się go rozwiązać.

Krok 1 - załadowanie danych z tabeli Hive do innej tabeli w następujący sposób

DROP TABLE IF EXISTS TestHiveTableCSV;
CREATE TABLE TestHiveTableCSV 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n' AS
SELECT Column List FROM TestHiveTable;

Krok 2 - skopiowanie Bloba z magazynu Ula do nowej lokalizacji z odpowiednim rozszerzeniem

Start-AzureStorageBlobCopy
-DestContext $destContext 
-SrcContainer "Source Container"
-SrcBlob "hive/warehouse/TestHiveTableCSV/000000_0"
-DestContainer "Destination Container"
-DestBlob "CSV/TestHiveTable.csv"

Domyślnym separatorem jest " ^A". W języku python jest to "\x01".

Kiedy chcę zmienić ogranicznik, używam SQL w stylu:

SELECT col1, delimiter, col2, delimiter, col3, ..., FROM table

Następnie potraktuj delimiter+ "^A " jako nowy delimiter.

Podobnie jak odpowiedź Raya powyżej, Hive View 2.0 w Hortonworks Data Platform pozwala również uruchomić zapytanie Hive, a następnie zapisać wyjście jako csv.