Lấy dữ liệu từ một trang web một cách ổn định và hiệu quả

Gần đây tôi đã học được rằng sử dụng regex để phân tích HTML của trang web để lấy dữ liệu bạn cần không phải là cách hành động tốt nhất.

Vì vậy, câu hỏi của tôi rất đơn giản: Điều gì sau đó, là cách tốt nhất / hiệu quả nhất và nói chung là ổn định để có được dữ liệu này?

Tôi cần lưu ý rằng:

• Không có API
• Không có nguồn nào khác nơi tôi có thể lấy dữ liệu từ (không có cơ sở dữ liệu, nguồn cấp dữ liệu và như vậy)
• Không có quyền truy cập vào các tập tin nguồn. (Dữ liệu từ các trang web công cộng)
• Giả sử dữ liệu là văn bản bình thường, được hiển thị trong bảng trong trang html

Tôi hiện đang sử dụng python cho dự án của mình nhưng một giải pháp / mẹo độc lập về ngôn ngữ sẽ rất tuyệt.

Như một câu hỏi phụ: Bạn sẽ tìm hiểu về nó như thế nào khi trang web được xây dựng bởi các cuộc gọi Ajax?

BIÊN TẬP:

Trong trường hợp phân tích cú pháp HTML, tôi biết rằng không có cách nào ổn định thực sự để lấy dữ liệu. Ngay khi trang thay đổi, trình phân tích cú pháp của bạn đã hoàn tất. Ý tôi là ổn định trong trường hợp này là: một cách hiệu quả để phân tích trang, luôn mang lại cho tôi kết quả tương tự (rõ ràng cho cùng một bộ dữ liệu) với điều kiện trang không thay đổi.

Vâng, đây là 2 xu của tôi:

Nếu không có AJAX liên quan hoặc có thể xóa dễ dàng, hãy 'sửa' HTML thành XHTML (ví dụ sử dụng HTMLTidy), sau đó sử dụng XPath thay vì các biểu thức thông thường để trích xuất thông tin.
Trong một trang web có cấu trúc tốt, các thực thể thông tin được phân tách hợp lý nằm trong các <div>s khác nhau hoặc bất kỳ thẻ nào khác, điều đó có nghĩa là bạn sẽ có thể dễ dàng tìm thấy thông tin đúng với biểu thức XPath đơn giản. Điều này cũng tuyệt vời vì bạn có thể kiểm tra nó, giả sử, bảng điều khiển của Chrome hoặc bảng điều khiển dành cho nhà phát triển của Firefox và xác minh nó hoạt động trước khi viết ngay cả một dòng mã khác.
Cách tiếp cận này cũng có tỷ lệ nhiễu tín hiệu rất cao, vì thông thường các biểu thức để chọn thông tin liên quan sẽ là một lớp. Chúng cũng dễ đọc hơn các biểu thức thông thường và được thiết kế cho mục đích đó.

Nếu có AJAX và JavaScript nghiêm trọng liên quan đến trang, hãy nhúng một thành phần trình duyệt vào ứng dụng và sử dụng DOM của nó để kích hoạt các sự kiện bạn cần và XPath để trích xuất thông tin. Có rất nhiều thành phần trình duyệt có thể nhúng tốt, hầu hết đều sử dụng các trình duyệt trong thế giới thực, đây là một điều tốt, vì một trang web có thể không chính xác (X) HTML, nhưng vẫn hiển thị tốt trên tất cả các trình duyệt chính ( trên thực tế, hầu hết các trang cuối cùng có được theo cách này).

Theo kinh nghiệm của tôi, sử dụng môi trường .NET, bạn có thể tận dụng Gói Agility HTML .

Nếu trang được định dạng là XHTML, bạn cũng có thể sử dụng trình phân tích cú pháp XML thông thường. Có rất nhiều thứ ngoài kia cho bất kỳ môi trường nào bạn có thể tưởng tượng.

Đối với câu hỏi phụ về AJAX, bạn có thể sử dụng mã mạng HTTP thông thường để lấy dữ liệu và phân tích cú pháp.

Một lần nữa nếu ngăn xếp AJAX của bạn trả về XML, bạn sẽ có rất nhiều lựa chọn. Nếu nó trả về JSON, hãy xem xét một thư viện cho phép bạn ánh xạ luồng tới các đối tượng đã nhập. Trong .NET tôi đề nghị bạn Newtonsoft.Json .

Phân tích cú pháp HTML không phải là một nhiệm vụ hoàn toàn tầm thường, vì người ta phải đối phó với việc đánh dấu có thể không chính xác (thẻ súp). Trong những năm qua, các trình duyệt đã thực hiện ít nhiều cùng một chiến lược để xử lý lỗi và thuật toán đó đã được đặt tên theo đặc tả HTML5 (vâng, đặc tả HTML5 chỉ định phải làm gì với những thứ không phải là HTML5).

Các thư viện cho tất cả các ngôn ngữ chính để phân tích HTML, ví dụ như ngôn ngữ này .

Trong mọi trường hợp, những gì bạn sẽ nhận được không ổn định trong bất kỳ ý nghĩa nào. Mỗi khi định dạng trang web thay đổi, bạn phải điều chỉnh bộ cạp của mình.

Như một câu hỏi phụ: Bạn sẽ tìm hiểu về nó như thế nào khi trang web được xây dựng bởi các cuộc gọi Ajax?

Nếu các cuộc gọi ajax đang được thực hiện, thì rất có thể đó là một số url POST hoặc GET với một số biến.

Tôi sẽ kiểm tra JavaScript để tìm hiểu các điểm cuối và tham số là gì. Sau đó, rất có thể dữ liệu được trả về là json / xml / văn bản thuần túy hoặc có lẽ là một phần html.

Khi bạn biết các thông tin trên, bạn chỉ cần thực hiện một yêu cầu GET hoặc POST đến điểm cuối đó và phân tích dữ liệu được trả về.

Không có cách nào ổn định hoặc tốt hơn để làm điều này, các trang web HTML không được tạo ra để bị máy tính thao túng. Nó dành cho người dùng, nhưng nếu bạn cần làm điều đó, tôi khuyên bạn nên sử dụng trình duyệt và một số javascript. Trong công việc của tôi, tôi đã tham gia vào một dự án cần trích xuất một số thông tin từ trang web của bên thứ ba. Ứng dụng được phát triển dưới dạng tiện ích mở rộng của Chrome. Logic ứng dụng được viết bằng cách sử dụng javascript được chèn trên trang web sau khi tải Trang hoàn tất. Dữ liệu được trích xuất được gửi đến cơ sở dữ liệu thông qua máy chủ http. Nó không phải là cách tiếp cận tốt nhất, nhưng nó hoạt động. Ps: Chủ sở hữu trang web đã ủy quyền cho chúng tôi làm điều đó.