Python Unicode Encode Error

Lepsze rozwiązanie:

if type(value) == str:
    # Ignore errors even if the string is not proper UTF-8 or has
    # broken marker bytes.
    # Python built-in function unicode() can do this.
    value = unicode(value, "utf-8", errors="ignore")
else:
    # Assume the value object has proper __unicode__() method
    value = unicode(value)

Jeśli chcesz przeczytać więcej o tym dlaczego:

Http://docs.plone.org/manage/troubleshooting/unicode.html#id1

Nie twarda kodowanie znaków środowiska wewnątrz skryptu; wydrukować tekst Unicode bezpośrednio zamiast:

assert isinstance(text, unicode) # or str on Python 3
print(text)

JEŚLI wyjście jest przekierowywane do pliku (lub potoku); możesz użyć PYTHONIOENCODING envvar, aby określić kodowanie znaków:

$ PYTHONIOENCODING=utf-8 python your_script.py >output.utf8

W przeciwnym razie, {[3] } powinno działać tak jak jest -- twoje ustawienia regionalne są używane do kodowania tekstu (po sprawdzeniu POSIX: LC_ALL, LC_CTYPE, LANG envvars -- set LANG to a utf-8 locale if necessary).

Aby wydrukować Unicode w systemie Windows, zobacz tę odpowiedź, która pokazuje, jak wydrukować Unicode na konsoli Windows, do pliku lub używając IDLE .

Doskonały post: http://www.carlosble.com/2010/12/understanding-python-and-unicode/

# -*- coding: utf-8 -*-

def __if_number_get_string(number):
    converted_str = number
    if isinstance(number, int) or \
            isinstance(number, float):
        converted_str = str(number)
    return converted_str


def get_unicode(strOrUnicode, encoding='utf-8'):
    strOrUnicode = __if_number_get_string(strOrUnicode)
    if isinstance(strOrUnicode, unicode):
        return strOrUnicode
    return unicode(strOrUnicode, encoding, errors='ignore')


def get_string(strOrUnicode, encoding='utf-8'):
    strOrUnicode = __if_number_get_string(strOrUnicode)
    if isinstance(strOrUnicode, unicode):
        return strOrUnicode.encode(encoding)
    return strOrUnicode

Możesz użyć czegoś z formularza

s.decode('utf-8')

Który konwertuje kodowany przez UTF-8 bajt na ciąg Unicode Pythona. Ale dokładna procedura zależy od tego, jak dokładnie załadujesz i przeanalizujesz plik XML, np. jeśli nigdy nie uzyskasz bezpośredniego dostępu do łańcucha XML, być może będziesz musiał użyć obiektu dekodera z codecs moduł .

Napisałem poniżej, aby naprawić uciążliwe cudzysłowy nie-ascii i wymusić konwersję na coś użytecznego.

unicodeToAsciiMap = {u'\u2019':"'", u'\u2018':"`", }

def unicodeToAscii(inStr):
    try:
        return str(inStr)
    except:
        pass
    outStr = ""
    for i in inStr:
        try:
            outStr = outStr + str(i)
        except:
            if unicodeToAsciiMap.has_key(i):
                outStr = outStr + unicodeToAsciiMap[i]
            else:
                try:
                    print "unicodeToAscii: add to map:", i, repr(i), "(encoded as _)"
                except:
                    print "unicodeToAscii: unknown code (encoded as _)", repr(i)
                outStr = outStr + "_"
    return outStr

Jeśli chcesz wydrukować przybliżoną reprezentację ciągu znaków na ekranie, zamiast ignorować te niedrukowalne znaki, spróbuj unidecode pakiet tutaj:

Https://pypi.python.org/pypi/Unidecode

Wyjaśnienie znajduje się tutaj:

Https://www.tablix.org/~avian/blog/archives/2009/01/unicode_transliteration_in_python/

Jest to lepsze niż użycie u.encode('ascii', 'ignore') dla danego ciągu u i może uchronić Cię przed niepotrzebnym bólem głowy jeśli precyzja znaków nie jest tym, czego szukasz, ale nadal chcesz mieć ludzką czytelność.

Wirawan

Spróbuj dodać następujący wiersz na górze skryptu Pythona.

# _*_ coding:utf-8 _*_