Cách sử dụng PyCharm để gỡ lỗi các dự án Scrapy

Tôi đang làm việc trên Scrapy 0.20 với Python 2.7. Tôi thấy PyCharm có trình gỡ lỗi Python tốt. Tôi muốn kiểm tra các con nhện Scrapy của mình bằng cách sử dụng nó. Bất cứ ai biết làm thế nào để làm điều đó xin vui lòng?

Những gì tôi đã thử

File->Setting->Project structure->Add content root.

Nhưng tôi không biết mình phải làm gì khác

Các scrapylệnh là một kịch bản python có nghĩa là bạn có thể bắt đầu nó từ PyCharm bên trong.

Khi bạn kiểm tra mã nhị phân trị liệu ( which scrapy), bạn sẽ nhận thấy rằng đây thực sự là một tập lệnh python:

#!/usr/bin/python

from scrapy.cmdline import execute
execute()

Điều này có nghĩa là một lệnh như scrapy crawl IcecatCrawlercũng có thể được thực thi như thế này:python /Library/Python/2.7/site-packages/scrapy/cmdline.py crawl IcecatCrawler

Cố gắng tìm gói scrapy.cmdline. Trong trường hợp của tôi, vị trí ở đây:/Library/Python/2.7/site-packages/scrapy/cmdline.py

Tạo cấu hình chạy / gỡ lỗi bên trong PyCharm với tập lệnh đó dưới dạng tập lệnh. Điền vào các tham số script bằng lệnh scrapy và spider. Trong trường hợp này crawl IcecatCrawler.

Như thế này:

Đặt các điểm ngắt của bạn ở bất kỳ đâu trong mã thu thập thông tin của bạn và nó sẽ hoạt động ™.

Bạn chỉ cần làm điều này.

Tạo tệp Python trên thư mục trình thu thập thông tin trong dự án của bạn. Tôi đã sử dụng main.py.

• Dự án
  • Crawler
    • Crawler
      • Nhện
      • ...
    • main.py
    • scrapy.cfg

Bên trong main.py đặt mã này bên dưới.

from scrapy import cmdline    
cmdline.execute("scrapy crawl spider".split())

Và bạn cần tạo một "Cấu hình Chạy" để chạy main.py.

Làm điều này, nếu bạn đặt một điểm ngắt ở mã của mình, nó sẽ dừng lại ở đó.

Kể từ năm 2018.1, điều này đã trở nên dễ dàng hơn rất nhiều. Bây giờ bạn có thể chọn Module nametrong dự án của mình Run/Debug Configuration. Đặt điều này thành scrapy.cmdlinevà thành Working directorythư mục gốc của dự án liệu pháp (dự án có settings.pytrong đó).

Như vậy:

Bây giờ bạn có thể thêm các điểm ngắt để gỡ lỗi mã của mình.

Tôi đang chạy scrapy trong virtualenv với Python 3.5.0 và đặt tham số "script" để /path_to_project_env/env/bin/scrapygiải quyết vấn đề cho tôi.

ý tưởng intellij cũng hoạt động.

tạo main.py :

#!/usr/bin/env python
# -*- coding: utf-8 -*-
#coding=utf-8
import sys
from scrapy import cmdline
def main(name):
    if name:
        cmdline.execute(name.split())



if __name__ == '__main__':
    print('[*] beginning main thread')
    name = "scrapy crawl stack"
    #name = "scrapy crawl spa"
    main(name)
    print('[*] main thread exited')
    print('main stop====================================================')

hiển thị bên dưới:

Để thêm một chút vào câu trả lời được chấp nhận, sau gần một giờ, tôi thấy mình phải chọn Cấu hình Chạy chính xác từ danh sách thả xuống (gần giữa thanh công cụ biểu tượng), sau đó nhấp vào nút Gỡ lỗi để nó hoạt động. Hi vọng điêu nay co ich!

Tôi cũng đang sử dụng PyCharm, nhưng tôi không sử dụng các tính năng gỡ lỗi tích hợp của nó.

Để gỡ lỗi tôi đang sử dụng ipdb. Tôi thiết lập một phím tắt để chèn import ipdb; ipdb.set_trace()vào bất kỳ dòng nào tôi muốn điểm ngắt xảy ra.

Sau đó, tôi có thể gõ nđể thực hiện câu lệnh tiếp theo, sđể bước vào một hàm, nhập bất kỳ tên đối tượng nào để xem giá trị của nó, thay đổi môi trường thực thi, nhập cđể tiếp tục thực thi ...

Điều này rất linh hoạt, hoạt động trong các môi trường khác ngoài PyCharm, nơi bạn không kiểm soát môi trường thực thi.

Chỉ cần nhập vào môi trường ảo của bạn pip install ipdbvà đặt import ipdb; ipdb.set_trace()trên một dòng mà bạn muốn tạm dừng việc thực thi.

Theo tài liệu https://doc.scrapy.org/en/latest/topics/practices.html

import scrapy
from scrapy.crawler import CrawlerProcess

class MySpider(scrapy.Spider):
    # Your spider definition
    ...

process = CrawlerProcess({
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
})

process.crawl(MySpider)
process.start() # the script will block here until the crawling is finished

Tôi sử dụng tập lệnh đơn giản này:

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

process = CrawlerProcess(get_project_settings())

process.crawl('your_spider_name')
process.start()

Mở rộng phiên bản câu trả lời của @ Rodrigo Tôi đã thêm tập lệnh này và bây giờ tôi có thể đặt tên nhện từ cấu hình thay vì thay đổi trong chuỗi.

import sys
from scrapy import cmdline

cmdline.execute(f"scrapy crawl {sys.argv[1]}".split())