Jak używać PyCharm do debugowania Scrapowych projektów

Musisz to zrobić.

Utwórz plik Pythona w folderze crawlera w swoim projekcie. Używałem main.py.

• Projekt
  • Crawler
    • Crawler
      • pająki
      • ...
    • main.py
    Scrapy.cfg

Inside your main.py umieść ten kod poniżej.

from scrapy import cmdline    
cmdline.execute("scrapy crawl spider".split())

I musisz utworzyć "Run Configuration", aby uruchomić swój main.py.

Robiąc to, jeśli umieścisz punkt przerwania na Twoim kodzie zatrzyma się na tym.

Uruchamiam Scrappy w virtualenv z Pythonem 3.5.0 i ustawienie parametru "script"na /path_to_project_env/env/bin/scrapy rozwiązało problem.

Aby dodać trochę do zaakceptowanej odpowiedzi, po prawie godzinie okazało się, że muszę wybrać poprawną konfigurację Uruchom z listy rozwijanej( w pobliżu środka paska narzędzi ikon), a następnie kliknąć przycisk Debug, aby uruchomić go do pracy. Mam nadzieję, że to pomoże!

Intellij idea również działa.

Utwórz main.py :

#!/usr/bin/env python
# -*- coding: utf-8 -*-
#coding=utf-8
import sys
from scrapy import cmdline
def main(name):
    if name:
        cmdline.execute(name.split())



if __name__ == '__main__':
    print('[*] beginning main thread')
    name = "scrapy crawl stack"
    #name = "scrapy crawl spa"
    main(name)
    print('[*] main thread exited')
    print('main stop====================================================')

Pokaż poniżej:

Używam również PyCharm, ale nie używam jego wbudowanych funkcji debugowania.

Do debugowania używam ipdb. Ustawiłem skrót klawiaturowy, aby wstawić import ipdb; ipdb.set_trace() W dowolnej linii, którą chcę, aby punkt przerwania się odbył.

Następnie mogę wpisać n, aby wykonać następną instrukcję, s, aby wejść do funkcji, wpisać nazwę dowolnego obiektu, aby zobaczyć jego wartość, zmienić środowisko wykonywania, wpisać c, Aby kontynuować wykonywanie...

Po prostu wpisz swoje wirtualne środowisko pip install ipdb i umieść import ipdb; ipdb.set_trace() w linii, w której chcesz wstrzymać wykonanie.

[[5]} od 2018.1 stało się to o wiele łatwiejsze. Możesz teraz wybrać Module name w swoim projekcie Run/Debug Configuration. Ustaw to na scrapy.cmdline i Working directory do katalogu głównego projektu Scrappy (tego z settings.py).

Like so:

Teraz możesz dodać punkty przerwania do debugowania kodu.

Zgodnie z dokumentacją https://doc.scrapy.org/en/latest/topics/practices.html

import scrapy
from scrapy.crawler import CrawlerProcess

class MySpider(scrapy.Spider):
    # Your spider definition
    ...

process = CrawlerProcess({
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
})

process.crawl(MySpider)
process.start() # the script will block here until the crawling is finished

Używam tego prostego skryptu:

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

process = CrawlerProcess(get_project_settings())

process.crawl('your_spider_name')
process.start()