Câu hỏi được gắn thẻ «scrapy»

Đã đóng cửa. Câu hỏi này không đáp ứng các hướng dẫn Stack Overflow . Nó hiện không chấp nhận câu trả lời. Bạn muốn cải thiện câu hỏi này? Cập nhật câu hỏi để nó thuộc chủ đề cho Stack Overflow. Đóng cửa 5 năm trước . Tôi đang …

368 selenium  web-scraping  scrapy  phantomjs  casperjs 

Tôi muốn cài đặt Lxml để sau đó tôi có thể cài đặt Scrapy. Khi tôi cập nhật máy Mac của mình ngày hôm nay, nó sẽ không cho phép tôi cài đặt lại lxml, tôi gặp phải lỗi sau: In file included from src/lxml/lxml.etree.c:314: /private/tmp/pip_build_root/lxml/src/lxml/includes/etree_defs.h:9:10: fatal error: 'libxml/xmlversion.h' file …

234 python  xcode  macos  scrapy  lxml 

Tôi đang cố gắng cài đặt khung Scrapy Python trong OSX 10.11 (El Capitan) qua pip. Kịch bản cài đặt tải xuống các mô-đun cần thiết và tại một số điểm sẽ trả về lỗi sau: OSError: [Errno 1] Operation not permitted: '/tmp/pip-nIfswi-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info' Tôi đã cố gắng hủy kích hoạt …

206 python  macos  python-2.7  scrapy 

Gần đây tôi đã học Python và đang nhúng tay vào việc xây dựng một trình quét web. Không có gì lạ mắt cả; Mục đích duy nhất của nó là lấy dữ liệu của một trang web cá cược và đưa dữ liệu này vào Excel. Hầu hết các …

145 javascript  python  ajax  screen-scraping  scrapy 

Tôi muốn làm một trang web hiển thị so sánh giữa giá sản phẩm amazon và e-bay. Cái nào trong số này sẽ hoạt động tốt hơn và tại sao? Tôi có phần quen thuộc với BeautifulSoup nhưng không quá nhiều với trình thu thập dữ liệu Scrapy .

134 python  beautifulsoup  scrapy  web-crawler 

Tôi đang thực hành mã từ 'Web Scraping với Python' và tôi tiếp tục gặp sự cố chứng chỉ này: from urllib.request import urlopen from bs4 import BeautifulSoup import re pages = set() def getLinks(pageUrl): global pages html = urlopen("http://en.wikipedia.org"+pageUrl) bsObj = BeautifulSoup(html) for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")): if 'href' …

113 python  web-scraping  beautifulsoup  scrapy  ssl-certificate 

Tôi đang cố gắng chuyển một đối số do người dùng xác định tới một trình thu thập dữ liệu. Bất cứ ai có thể đề nghị làm thế nào để làm điều đó? Tôi đọc về một tham số -aở đâu đó nhưng không biết làm thế nào để …

100 python  scrapy  web-crawler 

Tôi đang làm việc trên Scrapy 0.20 với Python 2.7. Tôi thấy PyCharm có trình gỡ lỗi Python tốt. Tôi muốn kiểm tra các con nhện Scrapy của mình bằng cách sử dụng nó. Bất cứ ai biết làm thế nào để làm điều đó xin vui lòng? Những gì …

97 python  debugging  python-2.7  scrapy  pycharm 

Tôi đang cố gắng thu thập thông tin sản phẩm từ một trang web bằng cách sử dụng phương pháp thu thập dữ liệu. Trang web sắp sửa của tôi trông như thế này: bắt đầu với trang product_list với 10 sản phẩm một cú nhấp chuột vào nút "tiếp …

85 python  selenium  selenium-webdriver  web-scraping  scrapy 

Tôi có một dự án trị liệu chứa nhiều nhện. Có cách nào tôi có thể xác định đường ống dẫn để sử dụng cho con nhện nào không? Không phải tất cả các đường ống mà tôi đã xác định đều có thể áp dụng cho mọi mạng nhện. …

84 python  scrapy  web-crawler