Odczyt znaków z pliku w Pythonie

Jest kilka kwestii do rozważenia.

Znak \u2018 może pojawić się tylko jako fragment reprezentacji ciągu znaków unicode w Pythonie, np. jeśli napiszesz:

>>> text = u'‘'
>>> print repr(text)
u'\u2018'

Teraz, jeśli chcesz po prostu wydrukować ciąg znaków unicode, użyj metody encode unicode:

>>> text = u'I don\u2018t like this'
>>> print text.encode('utf-8')
I don‘t like this

Aby upewnić się, że każda linia z dowolnego pliku będzie odczytywana jako unicode, lepiej Użyj funkcji codecs.open zamiast tylko open, która pozwala określić kodowanie pliku:

>>> import codecs
>>> f1 = codecs.open(file1, "r", "utf-8")
>>> text = f1.read()
>>> print type(text)
<type 'unicode'>
>>> print text.encode('utf-8')
I don‘t like this

Ale to naprawdę jest "nie lubię tego", a nie "nie lubię tego". Znak u '\u2018 'jest zupełnie innym znakiem niż "' "(i wizualnie powinien odpowiadać bardziej"').

Jeśli próbujesz przekonwertować zakodowany unicode na zwykły ASCII, możesz zachować mapowanie interpunkcji unicode, które chciałbyś przetłumaczyć na ASCII.

punctuation = {
  u'\u2018': "'",
  u'\u2019': "'",
}
for src, dest in punctuation.iteritems():
  text = text.replace(src, dest)

Jest strasznie dużo znaków interpunkcyjnych w unicode , ale przypuszczam, że możesz liczyć na tylko kilka z nich jest faktycznie używanych przez dowolną aplikację, która tworzy dokumenty, które czytasz.

Pomijając fakt, że plik tekstowy jest uszkodzony( U+2018 jest lewym cudzysłowem, a nie apostrofem): iconv może być używany do transliteracji znaków unicode do ascii.

Będziesz musiał wygooglować "iconvcodec", ponieważ moduł wydaje się już nie być obsługiwany i nie mogę znaleźć kanonicznej strony głównej dla niego.

>>> import iconvcodec
>>> from locale import setlocale, LC_ALL
>>> setlocale(LC_ALL, '')
>>> u'\u2018'.encode('ascii//translit')
"'"

Alternatywnie możesz użyć narzędzia linii poleceń iconv do czyszczenia pliku:

$ xxd foo
0000000: e280 980a                                ....
$ iconv -t 'ascii//translit' foo | xxd
0000000: 270a                                     '.

Istnieje możliwość, że w jakiś sposób masz ciąg nie-unicode ze znakami escape unicode, np.:

>>> print repr(text)
'I don\\u2018t like this'

>>> uni = text.decode('unicode_escape')
>>> print type(uni)
<type 'unicode'>
>>> print uni.encode('utf-8')
I don‘t like this

Właściwie, U+2018 jest reprezentacją Unicode znaku specjalnego". Jeśli chcesz, możesz przekonwertować instancje tego znaku na U + 0027 za pomocą tego kodu:

text = text.replace (u"\u2018", "'")

Dodatkowo, czego używasz do zapisu pliku? f1.read() powinien zwracać łańcuch, który wygląda tak:

'I don\xe2\x80\x98t like this'

Jeśli zwraca Ten łańcuch, plik jest zapisywany nieprawidłowo:

'I don\u2018t like this'

To jest Pythons sposób pokazać ci Unicode zakodowane ciągi. Ale myślę, że powinieneś być w stanie wydrukować ciąg znaków na ekranie lub zapisać go do nowego pliku bez żadnych problemów.

>>> test = u"I don\u2018t like this"
>>> test
u'I don\u2018t like this'
>>> print test
I don‘t like this