Các mô hình và thực tiễn cho Quét web trong .Net (C #) [đã đóng]

Tôi sẽ kết hợp một ứng dụng để tự động hóa một trang web / ứng dụng bên ngoài. Trong một số trường hợp, tôi sẽ cần điều hướng trang web như một người dùng (một số liên kết tôi cần theo dõi không thể dự đoán được và phải được phân tích cú pháp từ một phản hồi)

Tôi đã sử dụng Html Agility Pack và nhận thức được Tidy nếu cần thiết.

Có công nghệ nào khác tôi nên biết không?

Có bất kỳ mẫu được đề xuất nào để có thể nhanh chóng điều chỉnh trong trường hợp ứng dụng web bên ngoài thay đổi không? Tôi đang hình dung đóng gói xác nhận các phản hồi dưới dạng một số loại chiến lược hoặc mô hình tương tự có thể dễ dàng tách / cắm khi cần thiết, nhưng bất kỳ đề xuất cụ thể nào cũng sẽ rất tuyệt.

Nếu bạn đang tìm cách tự động hóa điều hướng của một trang web bên ngoài như người dùng, Watin là hoàn hảo cho điều đó. Nó sẽ điều khiển trình duyệt web thông qua một mô hình đối tượng và có một loạt các khả năng phân tích cú pháp được xây dựng dựa trên DOM (cũng như các khả năng không phải DOM mà bạn sẽ tìm thấy trong trình duyệt, bao gồm cả kịch bản).

Đây là một liên kết:

Watin.org

Nếu bạn đang tìm kiếm khả năng nhanh chóng thực hiện các thay đổi để theo dõi những thay đổi trong ứng dụng web bên ngoài, thì tôi sẽ xem xét kịch bản. Nếu C # là ngôn ngữ bạn chọn, thì hãy xem mã biên dịch khi đang di chuyển. Nếu bạn đang sử dụng cơ sở dữ liệu, mã tập lệnh có thể được lưu trữ ở đó, nếu không, các tệp văn bản thuần cũng sẽ hoạt động.

Đối với các mẫu GoF, Chiến lược là sự lựa chọn trong sách giáo khoa.

"Mẫu" khác cần xem xét, đặc biệt là khi bạn đề cập đến các phản hồi xác thực bằng cách sử dụng chúng để chọn hành động tiếp theo, là một máy trạng thái hữu hạn . Ví dụ: các trạng thái cho ứng dụng khách web-mail có thể là "không đăng nhập", "tại hộp thư đến", "đọc thư", "trả lời chỉnh sửa", v.v. Bạn sẽ thực hiện một số hành động tùy thuộc vào trạng thái, sau đó dựa trên trạng thái các phản ứng, chọn trạng thái tiếp theo.

Mô hình thực sự nên xuất phát từ vấn đề nhưng đây là một số lựa chọn:

Nếu bạn chủ yếu quan tâm đến chi phí phát triển / phiền toái đang diễn ra: Mẫu chiến lược (đã được đề cập) - hãy sử dụng điều này để thực hiện các giao diện cấp thành phần và sử dụng phương pháp liên kết động để giải quyết các chiến lược cụ thể (triển khai). Một container IOC (tôi thích Autofac ngày nay) sẽ hoạt động tốt.

Nếu bạn cần hỗ trợ cộng với yêu cầu mở rộng: Map Giảm (bất kỳ ai cũng biết về m + r fx tốt cho .net?).

Tùy thuộc vào mức độ thay đổi của trang web, điều này có thể khó khăn. Bạn có thể giữ một danh sách các biểu thức chính quy tiêu chuẩn trong một DB và sau đó khi một biểu thức không còn hoạt động nữa, bạn có thể lặp qua bộ cơ sở với các biểu thức khác cho đến khi bạn nhấn một biểu thức. Sau đó, bạn muốn đánh dấu rằng để sử dụng trong tương lai.