Trình duyệt không đầu và cào - giải pháp [đóng]

Tôi đang cố gắng đưa ra danh sách các giải pháp khả thi cho các bộ thử nghiệm tự động của trình duyệt và các nền tảng trình duyệt không đầu có khả năng cào.

KIỂM TRA / KIỂM TRA BROWSER:

• Selenium - flagship polyglot trong tự động hóa trình duyệt, các ràng buộc cho Python, Ruby, JavaScript, C #, Haskell và hơn thế nữa, IDE cho Firefox (dưới dạng tiện ích mở rộng) để triển khai thử nghiệm nhanh hơn. Có thể hoạt động như một Máy chủ và có hàng tấn các tính năng.

JAVASCRIPT

• PhantomJS - JavaScript , thử nghiệm không đầu với chụp màn hình và tự động hóa, sử dụng Webkit . Kể từ phiên bản 1.8 API WebDriver của Selenium được triển khai, do đó bạn có thể sử dụng mọi ràng buộc WebDriver và các thử nghiệm sẽ tương thích với Selenium
• SlimerJS - tương tự PhantomJS, sử dụng Gecko (Firefox) thay vì WebKit
• CasperJS - JavaScript , được xây dựng trên cả PhantomJS và SlimerJS, có các tính năng bổ sung
• Ghost Driver - JavaScript triển khai Giao thức dây WebDriver cho PhantomJS .
• PhantomCSS mới - thử nghiệm hồi quy CSS. Một mô-đun CasperJS để tự động kiểm tra hồi quy trực quan với PhantomJS và Resemble.js .
• WebdoCSS mới - plugin dành cho Webdo.io để tự động kiểm tra hồi quy trực quan
• PhantomFlow mới - Mô tả và trực quan hóa các luồng người dùng thông qua các bài kiểm tra. Một cách tiếp cận thử nghiệm để kiểm tra giao diện người dùng Web.
• trifleJS mới - chuyển API PhantomJS để sử dụng công cụ Internet Explorer.
• mới CasperJS IDE (thương mại)

NODE.JS

• Node- ph Phantom - thu hẹp khoảng cách giữa PhantomJS và node.js
• WebDriverJs - Liên kết Selenium WebDriver cho tệp node.js của Nhóm Selenium
• WD.js - mô-đun nút cho WebDriver / Selenium 2
• yiewd - WD.js wrapper sử dụng máy phát điện Harmony mới nhất! Loại bỏ kim tự tháp gọi lại với năng suất
• ZombieJs - Thử nghiệm toàn ngăn xếp cực nhanh, không đầu bằng cách sử dụng node.js
• NightwatchJs - Giải pháp thử nghiệm dựa trên Node JS bằng Selenium Webdo
• Chimera - Chimera: có thể làm mọi thứ mà ph PhantomJS làm, nhưng trong môi trường JS đầy đủ
• Dalek.js - Kiểm tra trình duyệt chéo tự động với JavaScript thông qua Selenium WebSearch
• Webdo.io - triển khai tốt hơn các ràng buộc WebDriver với hơn 50 hành động được xác định trước
• Nightmare - Cầu điện tử với API cấp cao.
• jsdom - Phù hợp với hướng web. Một DOM rất nhẹ được triển khai trong Node.js, nó hỗ trợ các trang bằng javascript.
• Puppeteer mới - Thư viện nút cung cấp API cấp cao để kiểm soát Chrome hoặc Chromium. Puppeteer chạy không đầu theo mặc định.

THIẾT BỊ WEB / KHAI THÁC

• Scrapy - Python , chủ yếu là một công cụ khai thác / khai thác - nhanh, được ghi chép tốt và, có thể được liên kết với Django Dynamic Scraper để triển khai khai thác tốt, hoặc triển khai Scrapy Cloud cho PaaS (không có máy chủ), hoạt động trong thiết bị đầu cuối hoặc máy chủ độc lập , có thể được sử dụng với Celery , được xây dựng trên đỉnh Twisted
• Snailer - mô-đun node.js , chưa được kiểm tra.
• Node-Crawler - mô-đun node.js , chưa được kiểm tra.

CÔNG CỤ TRỰC TUYẾN

• Ngôn ngữ nạo Web mới - Cú pháp đơn giản để thu thập dữ liệu web

• ứng dụng khách HTTP trực tuyến mới - Câu trả lời SO chuyên dụng

• CasperBox đã chết - Chạycác kịch bản CasperJS trực tuyến

LIÊN KẾT & NGUỒN LIÊN QUAN

• Phần mềm tổng hợp Webscraping
• Resemble.js mới : Phân tích và so sánh hình ảnh

Câu hỏi:

• Bất kỳ giải pháp Node.js thuần túy hoặc mô đun Nodejs cho PhanthomJS / CasperJS thực sự hoạt động và được ghi lại?

Trả lời: Chimera dường như đi theo hướng đó, kiểm tra Chimera

• Các giải pháp khác có khả năng tiêm JavaScript dễ dàng hơn Selenium?

• Bạn có biết bất kỳ giải pháp ruby tinh khiết ?

Trả lời: Kiểm tra danh sách được tạo bởi rjk với các giải pháp dựa trên ruby

• Bạn có biết bất kỳ công nghệ hoặc giải pháp liên quan?

Hãy chỉnh sửa câu hỏi này và thêm nội dung như bạn muốn! Cảm ơn vì sự đóng góp của bạn!

Nếu Ruby là thứ của bạn, bạn cũng có thể thử:

• https://github.com/chriskite/anemone (đã dừng)
• https://github.com/sparklemotion/mechanize
• https://github.com/postmodern/spidr
• https://github.com/stewartmckee/cobweb
• http://watirwebdo.com/ (Selenium)

Ngoài ra, đá quý Nokogiri có thể được sử dụng để cạo:

• http://nokogiri.org/

có một cuốn sách dành riêng về cách sử dụng nokogiri để cạo bằng cách xuất bản packt

http://triflejs.org/ giống như ph Phantomjs nhưng dựa trên IE

Một loại Selenium dựa trên JS là Dalek.js . Nó không chỉ nhằm mục đích kiểm tra frontend tự động, bạn cũng có thể chụp ảnh màn hình với nó. Nó có webdrivers cho tất cả các trình duyệt quan trọng. Thật không may, những webdrivers đó dường như đáng để cải thiện (chỉ không nói "lỗi" với Firefox).