Jak zautomatyzować proces za pomocą sqlite3.exe command line tool?

Alternatywnie możesz umieścić wszystko w jednym pliku skryptu powłoki (upraszczając konserwację) za pomocą heredoc import.sh :

#!/bin/bash --
sqlite3 -batch $1 <<"EOF"
CREATE TABLE log_entry ( <snip> );
.separator "\t"
.import logfile.log log_entry
EOF

...i uruchom:

import.sh database.db

Ułatwia utrzymanie tylko jednego pliku skryptu. Przy okazji, jeśli chcesz go uruchomić pod Windows, Power Shell zawiera również heredoc

Ponadto takie podejście pomaga radzić sobie z brakiem obsługi parametrów skryptu. Możesz użyć zmiennych bash:

#!/bin/bash --

table_name=log_entry

sqlite3 -batch $1 <<EOF
CREATE TABLE ${table_name} ( <snip> );
.separator "\t"
.import logfile.log ${table_name}
EOF

Lub nawet zrobić trick like this:

#!/bin/bash --

table_name=$2

sqlite3 -batch $1 <<EOF
CREATE TABLE ${table_name} ( <snip> );
.separator "\t"
.import logfile.log ${table_name}
EOF

...i uruchom go: import.sh database.db log_entry

Utwórz osobny plik tekstowy zawierający wszystkie polecenia, które normalnie wpisujesz do aplikacji powłoki sqlite3:

CREATE TABLE log_entry ( <snip> );
.separator "\t"
.import /path/to/logfile.log log_entry

Zapisz to jako, powiedzmy, impscript.sql.

Utwórz plik wsadowy, który wywoła powłokę sqlite3 za pomocą tego skryptu:

sqlite3.exe yourdatabase.db < /path/to/impscript.sql

Na marginesie-przy imporcie, upewnij się, że wkładki są zawinięte w transakcję! To da Ci natychmiastowe 10.000% przyspieszenie.

Niedawno miałem podobny problem podczas konwersji plików cookie Firefoksa.sqlite do pliku tekstowego (dla jakiegoś narzędzia do pobierania) i natknąłem się na to pytanie.

Chciałem to zrobić z pojedynczą linią powłoki i to byłoby moje rozwiązanie zastosowane do wyżej wymienionego problemu:

echo -e ".mode tabs\n.import logfile.log log_entry" | sqlite3 database.db

echo -e ".mode tabs\nselect host, case when host glob '.*' then 'TRUE' else 'FALSE' end, path, case when isSecure then 'TRUE' else 'FALSE' end, expiry, name, value from moz_cookies;" | sqlite3 cookies.sqlite

sqlite3 abc.db ".read scriptname.sql"

W tym momencie, Nie jestem pewien, co jeszcze mogę dodać inne niż, miałem pewne problemy z dodaniem zmiennej środowiskowej unix do skryptu bash sugerowane przez nad2000.

Running this:

bash dbmake.sh database.db <(sed '1d' $DATA/logfile.log | head -n 1000)

Musiałem zaimportować ze standardowego wejścia jako obejście i znalazłem takie rozwiązanie:

sqlite3 $1 <<"EOF"
CREATE TABLE log_entry;
EOF
sqlite3 -separator $'\t' $1 ".import $2 log_entry"

Dodając drugą linię sqlite3, udało mi się przekazać $2 z Uniksa do parametru file for .import, pełna ścieżka i wszystko.

W systemie Windows powinno działać:

(echo CREATE TABLE log_entry ( <snip> ); & echo .separator "\t" & echo .import logfile.log log_entry) | sqlite3.exe database.db

Nie testowałem tego konkretnego polecenia, ale z mojego własnego dążenia do rozwiązania problemu przesyłania wielu poleceń odkryłem, że kluczem jest umieszczenie Echo poleceń w nawiasach. Biorąc to pod uwagę, możliwe, że będziesz musiał dostosować powyższe polecenie, aby również uciec od niektórych z tych znaków. Na przykład:

(echo CREATE TABLE log_entry ^( ^<snip^> ^); & echo .separator "\t" & echo .import logfile.log log_entry) | sqlite3.exe database.db

Nie jestem pewien, czy ucieczka jest potrzebna w tym przypadku, ale jest to wysoce prawdopodobne, ponieważ w nawiasach symbole "less than " i "greater than " są zwykle interpretowane jako wejścia lub wyjścia, które również mogą być sprzeczne. Obszerną listę ucieczek postaci można znaleźć tutaj: http://www.robvanderwoude.com/escapechars.php

   here trans is table name and trans.csv is a csv file in which i have 1959 rows of data

    $ sqlite3 abc.db ".separator ','"
    $ sqlite3 abc.db ".import 'trans.csv' trans"
    $ sqlite3 abc.db "select count(*) from trans;"
    1959

Ale nie da się napisać tak jak napisałeś