nieprawidłowa sekwencja bajtów dla kodowania " UTF8"

psql=# copy tmp from '/path/to/file.csv' with delimiter ',' csv header encoding 'windows-1251';

Dodanie opcji encoding zadziałało w moim przypadku.

Najwyraźniej mogę po prostu ustawić kodowanie w locie,

 set client_encoding to 'latin1'

A następnie uruchom ponownie zapytanie. Nie jestem jednak pewien, jakiego kodowania powinienem używać.

latin1 sprawiły, że znaki były czytelne, ale większość znaków akcentowanych była w wielkich literach, gdzie nie powinny być. Założyłem, że było to spowodowane złym kodowaniem, ale myślę, że to rzeczywiście dane, które były po prostu złe. Skończyło się na zachowaniu kodowania latin1, ale wstępne przetwarzanie danych i Naprawiono problemy z obudową.

Ten błąd oznacza, że kodowanie rekordów w pliku różni się w odniesieniu do połączenia. W tym przypadku iconv może zwrócić błąd, czasami nawet pomimo flagi / / IGNORE:

Iconv-f ASCII-t utf-8 / / ignoruj /a.txt

Iconv: nielegalna Sekwencja wejściowa na pozycji (pewna liczba)

Sztuczka polega na znalezieniu niewłaściwych znaków i zastąpieniu ich. Aby to zrobić na Linuksie Użyj edytora "vim":

Vim (Twój plik tekstowy), naciśnij przycisk" ESC": i wpisz": goto (liczba zwrócona przez iconv) "

Aby znaleźć znaki spoza ASCII, możesz użyć następującego polecenia:

Grep --color = 'auto' - P "[\x80 - \xFF]"

Jeśli usuniesz nieprawidłowe znaki sprawdź, czy naprawdę potrzebujesz przekonwertować swój plik: prawdopodobnie problem jest już rozwiązany.

To zależy od typu maszyny / kodowania wygenerowanego pliku importu.

Jeśli otrzymujesz go z angielskiej lub zachodnioeuropejskiej wersji systemu Windows, najlepszym rozwiązaniem jest ustawienie go na 'WIN1252'. Jeśli otrzymujesz go z innego źródła, zapoznaj się z listą kodowań znaków tutaj:

Http://www.postgresql.org/docs/8.3/static/multibyte.html

Jeśli otrzymujesz go z komputera Mac, być może będziesz musiał najpierw uruchomić go za pomocą narzędzia "iconv", aby Konwertuj go z Macromana na UTF-8.

Cóż, miałem ten sam problem. A co rozwiązało mój problem to:

W Excelu kliknij Zapisz jako. Z opcji Zapisz jako typ wybierz .csv Kliknij na Narzędzia . Następnie wybierz web options z rozwijanej listy. W zakładce Encoding zapisz dokument jako Unicode (UTF-8) . Kliknij OK. Zapisz plik. Zrobione !

Znak ukośnika wstecznego można zastąpić, na przykład, znakiem rury, sed.

sed -i -- 's/\\/|/g' filename.txt

Wykonaj poniższe kroki, aby rozwiązać ten problem w pgadmin:

1. SET client_encoding = 'ISO_8859_5';

2. COPY tablename(column names) FROM 'D:/DB_BAK/csvfilename.csv' WITH DELIMITER ',' CSV ;

Miałem ten sam problem i znalazłem tu dobre rozwiązanie: http://blog.e-shell.org/134

Jest to spowodowane niedopasowaniem w kodowaniu bazy danych, z pewnością dlatego, że baza danych, z której otrzymałeś zrzut SQL, została zakodowana jako SQL_ASCII, podczas gdy nowa jest zakodowana jako UTF8. .. Recode to małe narzędzie projektu GNU, które pozwala na zmianę kodowania danego pliku w locie.

Więc po prostu przekodowałem plik dumpfile zanim go odtworzyłem wstecz:

postgres> gunzip -c /var/backups/pgall_b1.zip | recode iso-8859-1..u8 | psql test

W systemach Debian lub Ubuntu, recode można zainstalować za pomocą pakietu.

Jeśli nie masz nic przeciwko odrzuceniu niezniszczalnych znaków, możesz użyć -c flagi

iconv -c -t utf8 filename.csv > filename.utf8.csv

A następnie skopiuj je do swojej tabeli

W Pythonie musisz użyć

Klasa pg8000.typy.Bytea (str) Bytea jest klasą pochodną str, która jest mapowana do tablicy bajtów PostgreSQL.

LUB

Pg8000Binary (wartość) Zbuduj obiekt zawierający dane binarne.

copy tablename from 'filepath\filename' DELIMITERS '=' ENCODING 'WIN1252';

Możesz spróbować obsłużyć kodowanie UTF8.

Ten błąd może wystąpić, jeśli Dane wejściowe zawierają sam znak escape. Domyślnie znakiem escape jest symbol"\", więc jeśli tekst wejściowy zawiera znak " \ " - spróbuj zmienić wartość domyślną za pomocą opcji ESCAPE.

Jest również bardzo możliwe z tym błędem, że pole jest zaszyfrowane w miejscu. Upewnij się, że patrzysz na właściwą tabelę, w niektórych przypadkach administratorzy utworzą niezaszyfrowany widok, którego możesz użyć zamiast niego. Ostatnio napotkałem bardzo podobny problem.

Otrzymałem ten sam błąd, gdy próbowałem skopiować plik csv wygenerowany przez Excela do tabeli Postgres (wszystko na komputerze Mac). Tak to rozwiązałem:

1) Otwórz plik w atomie (IDE którego używam)

2) Dokonaj nieznacznej zmiany w pliku. Zapisz plik. Cofnij zmianę. Zapisz ponownie.

Presto! Polecenie kopiowania zadziałało.

(myślę, że Atom zapisał to w formacie, który zadziałał)

Otwórz plik CSV za pomocą Notepad++ . Wybierz menu Encoding \ Encoding in UTF-8, następnie napraw kilka komórek ręcznie.

Następnie spróbuj ponownie zaimportować.