Czy powinienem utworzyć rurociąg do zapisywania plików za pomocą scrapy?

Tak i nie[1]. Jeśli pobierasz plik pdf, zostanie on zapisany w pamięci, ale jeśli pliki PDF nie są wystarczająco duże, aby wypełnić dostępną pamięć, więc jest ok.

Możesz zapisać plik pdf w spider callback:

def parse_listing(self, response):
    # ... extract pdf urls
    for url in pdf_urls:
        yield Request(url, callback=self.save_pdf)

def save_pdf(self, response):
    path = self.get_path(response.url)
    with open(path, "wb") as f:
        f.write(response.body)

Jeśli zdecydujesz się zrobić to w potoku:

# in the spider
def parse_pdf(self, response):
    i = MyItem()
    i['body'] = response.body
    i['url'] = response.url
    # you can add more metadata to the item
    return i

# in your pipeline
def process_item(self, item, spider):
    path = self.get_path(item['url'])
    with open(path, "wb") as f:
        f.write(item['body'])
    # remove body and add path as reference
    del item['body']
    item['path'] = path
    # let item be processed by other pipelines. ie. db store
    return item

[1] inną metodą może być Przechowywanie tylko adresów URL plików PDF i używanie innego procesu do pobierania dokumentów bez buforowania w pamięci. (np. wget)