Konwertuj Unicode na ASCII bez błędów w Pythonie

>>> u'aあä'.encode('ascii', 'ignore')
'a'

EDIT:

Dekoduj otrzymany ciąg znaków, używając zestawu znaków w odpowiednim znaczniku meta w odpowiedzi lub w nagłówku Content-Type, a następnie Zakoduj.

Metoda encode() przyjmuje inne wartości jako "ignoruj". Na przykład: 'replace', 'xmlcharrefreplace', 'backslashreplace'. Zobacz https://docs.python.org/3/library/stdtypes.html#str.encode

Jako rozszerzenie do odpowiedzi Ignacio Vazqueza-Abramsa

>>> u'aあä'.encode('ascii', 'ignore')
'a'

Czasami pożądane jest usunięcie akcentów ze znaków i wydrukowanie formy bazowej. Można to osiągnąć za pomocą

>>> import unicodedata
>>> unicodedata.normalize('NFKD', u'aあä').encode('ascii', 'ignore')
'aa'

Możesz również chcieć przetłumaczyć inne znaki (takie jak interpunkcja) na ich najbliższe odpowiedniki, na przykład prawy pojedynczy cudzysłów znak unicode nie jest konwertowany do apostrofu ascii podczas kodowania.

>>> print u'\u2019'
’
>>> unicodedata.name(u'\u2019')
'RIGHT SINGLE QUOTATION MARK'
>>> u'\u2019'.encode('ascii', 'ignore')
''
# Note we get an empty string back
>>> u'\u2019'.replace(u'\u2019', u'\'').encode('ascii', 'ignore')
"'"

Chociaż są bardziej efektywne sposoby na / align = "left" / Zobacz to pytanie po więcej szczegółów gdzie jest baza danych Pythona "najlepsze ASCII dla tego Unicode"?

Użycie unidecode - to nawet konwertuje dziwne znaki do ascii natychmiast, a nawet konwertuje chiński do fonetycznego ascii.

$ pip install unidecode

Wtedy:

>>> from unidecode import unidecode
>>> unidecode(u'北京')
'Bei Jing'
>>> unidecode(u'Škoda')
'Skoda'

Używam tej funkcji pomocnika we wszystkich moich projektach. Jeśli nie może przekonwertować unicode, ignoruje go. Łączy się to z biblioteką django, ale przy odrobinie badań możesz ją ominąć.

from django.utils import encoding

def convert_unicode_to_string(x):
    """
    >>> convert_unicode_to_string(u'ni\xf1era')
    'niera'
    """
    return encoding.smart_str(x, encoding='ascii', errors='ignore')

Nie dostaję już żadnych błędów unicode po użyciu tego.

Dla zepsutych konsol, takich jak cmd.exe i wyjście HTML, zawsze możesz użyć:

my_unicode_string.encode('ascii','xmlcharrefreplace')

To zachowa wszystkie znaki spoza ascii, czyniąc je drukowalnymi w czystych ASCII i W HTML.

Ostrzeżenie: Jeśli używasz tego w kodzie produkcyjnym, aby uniknąć błędów, najprawdopodobniej jest coś nie tak w Twoim kodzie . Jedynym prawidłowym przypadkiem użycia jest drukowanie na konsoli innej niż unicode lub łatwa konwersja na encje HTML w kontekście HTML.

Oraz wreszcie, jeśli jesteś w systemie windows i używasz cmd.exe następnie możesz wpisać chcp 65001, aby włączyć wyjście utf-8(działa z czcionką Lucida Console). Może być konieczne dodanie myUnicodeString.encode('utf8').

Napisałeś "" zakładam, że oznacza to, że HTML zawiera gdzieś błędnie uformowaną próbę Unicode."""

Oczekuje się, że HTML nie będzie zawierał żadnego rodzaju" próby Unicode", dobrze uformowanego lub nie. Musi z konieczności zawierać znaki Unicode zakodowane w pewnym kodowaniu, które jest zwykle dostarczane z przodu ... Szukaj "charset".

Wydaje się, że zakładasz, że zestaw znaków to UTF-8 ... na jakiej podstawie? Bajt "\xa0 " pokazany w komunikacie o błędzie wskazuje, że możesz mieć kod jednobajtowy, np. cp1252.

Jeśli nie możesz uzyskać żadnego sensu z deklaracji na początku HTML, spróbuj użyć chardet , aby dowiedzieć się, jakie jest prawdopodobne kodowanie.

Dlaczego otagowałeś swoje pytanie "regex"?

Update po zastąpieniu całego pytania bez pytania:

html = urllib.urlopen(link).read()
# html refers to a str object. To get unicode, you need to find out
# how it is encoded, and decode it.

html.encode("utf8","ignore")
# problem 1: will fail because html is a str object;
# encode works on unicode objects so Python tries to decode it using 
# 'ascii' and fails
# problem 2: even if it worked, the result will be ignored; it doesn't 
# update html in situ, it returns a function result.
# problem 3: "ignore" with UTF-n: any valid unicode object 
# should be encodable in UTF-n; error implies end of the world,
# don't try to ignore it. Don't just whack in "ignore" willy-nilly,
# put it in only with a comment explaining your very cogent reasons for doing so.
# "ignore" with most other encodings: error implies that you are mistaken
# in your choice of encoding -- same advice as for UTF-n :-)
# "ignore" with decode latin1 aka iso-8859-1: error implies end of the world.
# Irrespective of error or not, you are probably mistaken
# (needing e.g. cp1252 or even cp850 instead) ;-)

Jeśli masz łańcuch znaków line, możesz użyć metody .encode([encoding], [errors='strict']) do konwersji typów kodowania.

line = 'my big string'

line.encode('ascii', 'ignore')

Aby uzyskać więcej informacji na temat obsługi ASCII i unicode w Pythonie, jest to naprawdę przydatna strona: https://docs.python.org/2/howto/unicode.html

Myślę, że odpowiedź jest tam, ale tylko w kawałkach i kawałkach, co sprawia, że trudno szybko rozwiązać problem, taki jak

UnicodeDecodeError: 'ascii' codec can't decode byte 0xa0 in position 2818: ordinal not in range(128)

Weźmy przykład, załóżmy, że mam plik, który ma pewne dane w następującej formie (zawierające znaki ascii i nie-ascii)

1/10/17, 21:36 - Ziemia: Witamy ï¿½ï ¿½

I chcemy ignorować i zachować tylko znaki ascii.

Ten kod zrobi:

import unicodedata
fp  = open(<FILENAME>)
for line in fp:
    rline = line.strip()
    rline = unicode(rline, "utf-8")
    rline = unicodedata.normalize('NFKD', rline).encode('ascii','ignore')
    if len(rline) != 0:
        print rline

I typ (rline) da ci

>type(rline) 
<type 'str'>

unicodestring = '\xa0'

decoded_str = unicodestring.decode("windows-1252")
encoded_str = decoded_str.encode('ascii', 'ignore')

Działa dla mnie

Wygląda na to, że używasz Pythona 2.x. Python 2.x domyślnie ascii i nie wie o Unicode. Stąd wyjątek.

Po prostu wklej poniższy wiersz po shebang, to będzie działać

# -*- coding: utf-8 -*-