Gdy pobierasz plik z urllib lub urllib2, możesz dowiedzieć się, czy nagłówek charset został przesłany:

fp = urllib2.urlopen(request)
charset = fp.headers.getparam('charset')

Możesz użyć BeautifulSoup, aby zlokalizować element meta w HTML:

soup = BeatifulSoup.BeautifulSoup(data)
meta = soup.findAll('meta', {'http-equiv':lambda v:v.lower()=='content-type'})

Jeśli żadna z nich nie jest dostępna, przeglądarki zazwyczaj wracają do konfiguracji użytkownika, połączonej z automatycznym wykrywaniem. Jak proponuje rajax, możesz użyć modułu chardet. Jeśli masz dostępną konfigurację użytkownika informującą, że strona powinna być chińska( powiedzmy), możesz to zrobić lepiej.

Użyj uniwersalnego detektora kodującego :

>>> import chardet
>>> chardet.detect(urlread("http://google.cn/"))
{'encoding': 'GB2312', 'confidence': 0.99}

Inną opcją byłoby użycie wget:

  import os
  h = os.popen('wget -q -O foo1.txt http://foo.html')
  h.close()
  s = open('foo1.txt').read()

Wygląda na to, że potrzebujesz hybrydy prezentowanych odpowiedzi:

1. Pobierz stronę używając urllib
2. Znajdź <meta> tagi za pomocą pięknej zupy lub innej metody
3. Jeśli nie istnieją znaczniki meta, sprawdź nagłówki zwracane przez urllib
4. Jeśli to nadal nie daje odpowiedzi, użyj uniwersalnego detektora kodowania.

W rzeczywistości, jeśli czytasz dalej FAQ, do którego podlinkowałeś w komentarze do drugiej odpowiedzi, to jest to, co autor biblioteki detektor opowiada.

Jeśli wierzysz w FAQ, To właśnie robią przeglądarki (zgodnie z żądaniem w Twoim oryginalnym pytaniu), ponieważ detektor jest portem kodu sniffing Firefoksa.

Scrapy pobiera stronę i wykrywa dla niej poprawne kodowanie, w przeciwieństwie do żądań.get(url).tekst lub urlopen. Aby to zrobić, stara się przestrzegać zasad podobnych do przeglądarki - jest to najlepsze, co można zrobić, ponieważ właściciele witryn mają motywację, aby ich strony działały w przeglądarce. Scrappy musi pobierać nagłówki HTTP, znaczniki <meta>, znaki BOM i różnice w nazwach kodowania w koncie.

Zgadywanie oparte na treści (chardet, UnicodeDammit) samo w sobie nie jest poprawnym rozwiązaniem, ponieważ może się nie udać; powinno być używane tylko w ostateczności, gdy nagłówki lub <meta> lub znaki BOM nie są dostępne lub nie dostarczają żadnych informacji.

Nie musisz używać Scrapy ' ego, aby uzyskać jego funkcje wykrywania kodowania; są one udostępniane (wśród innych rzeczy) w oddzielnej bibliotece o nazwie w3lib: https://github.com/scrapy/w3lib .

Aby uzyskać kodowanie strony i ciało unicode użyj w3lib.kodowanie.html_to_unicode funkcja, z domyślnym domyślaniem treści:

import chardet
from w3lib.encoding import html_to_unicode

def _guess_encoding(data):
    return chardet.detect(data).get('encoding')

detected_encoding, html_content_unicode = html_to_unicode(
    content_type_header,
    html_content_bytes,
    default_encoding='utf8', 
    auto_detect_fun=_guess_encoding,
)

Zamiast próbować pobrać stronę, a następnie dowiedzieć się, jaki zestaw znaków będzie używany przez przeglądarkę, dlaczego nie użyć przeglądarki, aby pobrać stronę i sprawdzić, jakiego zestawu znaków używa..

from win32com.client import DispatchWithEvents
import threading


stopEvent=threading.Event()

class EventHandler(object):
    def OnDownloadBegin(self):
        pass

def waitUntilReady(ie):
    """
    copypasted from
    http://mail.python.org/pipermail/python-win32/2004-June/002040.html
    """
    if ie.ReadyState!=4:
        while 1:
            print "waiting"
            pythoncom.PumpWaitingMessages()
            stopEvent.wait(.2)
            if stopEvent.isSet() or ie.ReadyState==4:
                stopEvent.clear()
                break;

ie = DispatchWithEvents("InternetExplorer.Application", EventHandler)
ie.Visible = 0
ie.Navigate('http://kskky.info')
waitUntilReady(ie)
d = ie.Document
print d.CharSet

BeautifulSoup to z UnicodeDammit : Unicode, Dammit