Jaki jest najszybszy sposób na HTTP GET w Pythonie?

Możesz użyć biblioteki o nazwie requests .

import requests
r = requests.get("http://example.com/foo/bar")

>>> print(r.status_code)
>>> print(r.headers)
>>> print(r.content)

Jeśli chcesz, aby rozwiązanie z httplib2 było oneliner rozważ utworzenie anonimowego obiektu Http

import httplib2
resp, content = httplib2.Http().request("http://example.com/foo/bar")

Spójrz na httplib2 , który - obok wielu bardzo przydatnych funkcji - zapewnia dokładnie to, czego chcesz.

import httplib2

resp, content = httplib2.Http().request("http://example.com/foo/bar")

Gdzie zawartość byłaby ciałem odpowiedzi (jako ciąg znaków), a resp zawierałoby nagłówki statusu i odpowiedzi.

Nie jest dołączany do standardowej instalacji Pythona (ale wymaga tylko standardowego Pythona), ale zdecydowanie warto to sprawdzić.

Rozwiązanie dla wget jest naprawdę przydatne, jednak okazało się, że nie drukuje postępu w całym procesie pobierania. Jest to idealne rozwiązanie, jeśli dodasz jedną linię po instrukcji print w reporthook.

import sys, urllib

def reporthook(a, b, c):
    print "% 3.1f%% of %d bytes\r" % (min(100, float(a * b) / c * 100), c),
    sys.stdout.flush()
for url in sys.argv[1:]:
    i = url.rfind("/")
    file = url[i+1:]
    print url, "->", file
    urllib.urlretrieve(url, file, reporthook)
print

Oto skrypt wget w Pythonie:

# From python cookbook, 2nd edition, page 487
import sys, urllib

def reporthook(a, b, c):
    print "% 3.1f%% of %d bytes\r" % (min(100, float(a * b) / c * 100), c),
for url in sys.argv[1:]:
    i = url.rfind("/")
    file = url[i+1:]
    print url, "->", file
    urllib.urlretrieve(url, file, reporthook)
print

Excellent solutions Xuan, Theller.

Do pracy z Pythonem 3 Wprowadź następujące zmiany

import sys, urllib.request

def reporthook(a, b, c):
    print ("% 3.1f%% of %d bytes\r" % (min(100, float(a * b) / c * 100), c))
    sys.stdout.flush()
for url in sys.argv[1:]:
    i = url.rfind("/")
    file = url[i+1:]
    print (url, "->", file)
    urllib.request.urlretrieve(url, file, reporthook)
print

Również adres URL, który wprowadzasz powinien być poprzedzony "http://", w przeciwnym razie zwraca nieznany błąd typu url.

Bez dalszych niezbędnych importów To rozwiązanie działa (dla mnie) - również z https:

try:
    import urllib2 as urlreq # Python 2.x
except:
    import urllib.request as urlreq # Python 3.x
req = urlreq.Request("http://example.com/foo/bar")
req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36')
urlreq.urlopen(req).read()

Często mam trudności z pobraniem zawartości, gdy nie określam "User-Agent"w informacji nagłówka. Następnie zwykle żądania są anulowane za pomocą czegoś w rodzaju: urllib2.HTTPError: HTTP Error 403: Forbidden lub urllib.error.HTTPError: HTTP Error 403: Forbidden.

Jeśli pracujesz konkretnie z interfejsami API HTTP, istnieją również wygodniejsze opcje, takie jak Nap .

Na przykład, oto jak uzyskać GIST z Github od 1 maja 2014:

from nap.url import Url
api = Url('https://api.github.com')

gists = api.join('gists')
response = gists.get(params={'since': '2014-05-01T00:00:00Z'})
print(response.json())

Więcej przykładów: https://github.com/kimmobrunfeldt/nap#examples

Jak również wysyłać nagłówki

Python 3:

import urllib.request
contents = urllib.request.urlopen(urllib.request.Request(
    "https://api.github.com/repos/cirosantilli/linux-kernel-module-cheat/releases/latest",
    headers={"Accept" : 'application/vnd.github.full+json"text/html'}
)).read()
print(contents)

Python 2:

import urllib2
contents = urllib2.urlopen(urllib2.Request(
    "https://api.github.com",
    headers={"Accept" : 'application/vnd.github.full+json"text/html'}
)).read()
print(contents)