Scrapy i proxy

Single Proxy

1. Włącz HttpProxyMiddleware w twoim settings.py, tak:

   DOWNLOADER_MIDDLEWARES = {
       'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 1
   }
   

2. Podaj proxy do żądania poprzez request.meta:

   request = Request(url="http://example.com")
   request.meta['proxy'] = "host:port"
   yield request
   

Możesz również wybrać losowo adres proxy, jeśli masz pulę adresów. Tak:

Wiele Proxy

class MySpider(BaseSpider):
    name = "my_spider"
    def __init__(self, *args, **kwargs):
        super(MySpider, self).__init__(*args, **kwargs)
        self.proxy_pool = ['proxy_address1', 'proxy_address2', ..., 'proxy_addressN']

    def parse(self, response):
        ...parse code...
        if something:
            yield self.get_request(url)

    def get_request(self, url):
        req = Request(url=url)
        if self.proxy_pool:
            req.meta['proxy'] = random.choice(self.proxy_pool)
        return req

1-Utwórz nowy plik o nazwie "middlewares.py" i zapisz go w swoim scrapowym projekcie i dodaj do niego następujący kod.

import base64
class ProxyMiddleware(object):
    # overwrite process request
    def process_request(self, request, spider):
        # Set the location of the proxy
        request.meta['proxy'] = "http://YOUR_PROXY_IP:PORT"

        # Use the following lines if your proxy requires authentication
        proxy_user_pass = "USERNAME:PASSWORD"
        # setup basic authentication for the proxy
        encoded_user_pass = base64.encodestring(proxy_user_pass)
        request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass

2-Otwórz plik konfiguracyjny projektu (. /project_name/settings.py) i dodać następujący kod

DOWNLOADER_MIDDLEWARES = {
    'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': 110,
    'project_name.middlewares.ProxyMiddleware': 100,
}

Teraz Twoje prośby powinny być przekazywane przez tego pełnomocnika. Proste, prawda ?

Czyli:

Eksport http_proxy=http://user:password@proxy:port

W Windows zebrałem kilka poprzednich odpowiedzi i zadziałało. Po prostu zrobiłem:

C:>  set http_proxy = http://username:password@proxy:port

A potem uruchomiłem mój program:

C:/.../RightFolder> scrapy crawl dmoz

Gdzie "dmzo" to nazwa programu (piszę ją, ponieważ jest to ta, którą można znaleźć w samouczku w Internecie, a jeśli tu jesteś, prawdopodobnie zacząłeś od samouczka).

Jest fajny middleware napisany przez kogoś[1]: https://github.com/aivarsk/scrapy-proxies "Scrapy proxy middleware"

Ponieważ miałem problem z ustawieniem środowiska w /etc / environment, oto co umieściłem w moim spider (Python):

os.environ["http_proxy"] = "http://localhost:12345"