Tự động chụp hàng tuần của một trang web


1

Nhìn xung quanh trong một giờ nhưng tôi không nhận được bất cứ nơi nào nhanh chóng.

Tôi muốn chụp một trang web hàng tuần có giá trên đó. Trang web này là một trang web đấu giá cho chăn nuôi.

Vấn đề ở đây là tên trang đích thay đổi từ tuần này sang tuần khác, vì vậy, tôi cần có thể chỉ định vị trí LINK trên trang chủ, để có được trang mà tôi muốn.

Tôi có thể viết một cái gì đó trong một hoặc hai ngày để sàng lọc nó, nhưng PHẢI có một chương trình ngoài đó đã làm điều này. Tôi không ngại viết mã, nhưng tôi không muốn phát minh lại bánh xe.

Tôi vừa có HTTrack vì những lý do khác, và nếu nó sẽ làm điều đó, chỉ cần nói như vậy và tôi sẽ tìm ra nó. (Theo nghĩa đen chỉ là d / đã dẫn nó 30 phút trước, vì vậy vẫn chưa nhìn vào nó, ngoài việc lấy một trang web cho khách hàng.)

Nhìn vào Selenium rất nhanh, nhưng điều đó dường như là quá mức cho những gì tôi muốn?

Thông tin thêm một chút: Hy vọng, đó là một liên kết trong trang chủ.
Tôi muốn lưu nó với một ngày được đặt trước tên tệp cục bộ. Tôi muốn làm tất cả điều này trên Windows vì đó là điều tôi biết rõ nhất. PHẢI chạy được thông qua bộ lập lịch trong Win 7!

Cuối cùng, tôi muốn cạo trang để thu thập giá và đưa chúng vào excel, vì vậy nếu bất cứ ai đã sử dụng một công cụ cho việc này, điều đó sẽ còn tốt hơn nữa. (Tôi vẫn muốn lưu trang giá cục bộ, như một bản sao lưu cho bất kỳ màn hình nào mà tôi có thể làm.)


nick có thay đổi theo cách thông thường / có ý nghĩa không?
Journeyman Geek

Câu trả lời:


1

Bạn có thể tải xuống trang với một cái gì đó như wget . Chỉ cần đặt lệnh trong một tệp bó và lên lịch tệp bó để chạy một lần mỗi tuần.

Tuy nhiên, vì cuối cùng bạn muốn phân tích tệp, tôi sẽ chỉ nhìn vào ruby mở và viết một tập lệnh để lưu trang mà sau này bạn sẽ mở rộng để thực hiện phân tích cú pháp.


0

Vì một trong những yêu cầu của bạn là thực hiện tác vụ trong Windows và liên kết của bạn dễ dàng được xác định và có sẵn từ trang chủ, tôi khuyên bạn nên sử dụng một Kịch bản tự động để thực hiện chức năng. Tôi đặc biệt làm theo các ví dụ được liệt kê cho Hàm do người dùng IE xác định trong đó có một thư viện các chức năng hỗ trợ lành mạnh để giảm bớt gánh nặng lập trình cho các tác vụ đơn giản.


Tôi sẽ bắt đầu đào qua thư viện mã cũ của mình để lấy một số ví dụ cho bạn, và thử và có chúng sau này trong tuần.
Simon Hova
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.