Một bánh xích đơn giản sử dụng Cheerio
Đây là công thức của tôi để tạo một trình thu thập thông tin đơn giản trong Node.js. Đó là lý do chính cho việc muốn thực hiện thao tác DOM ở phía máy chủ và có lẽ đó là lý do tại sao bạn đến đây.
Đầu tiên, sử dụng requestđể tải xuống trang được phân tích cú pháp. Khi quá trình tải xuống hoàn tất, hãy xử lý nó cheeriovà bắt đầu thao tác DOM giống như sử dụng jQuery.
Ví dụ làm việc:
var
request = require('request'),
cheerio = require('cheerio');
function parse(url) {
request(url, function (error, response, body) {
var
$ = cheerio.load(body);
$('.question-summary .question-hyperlink').each(function () {
console.info($(this).text());
});
})
}
parse('http://stackoverflow.com/');
Ví dụ này sẽ in ra bàn điều khiển tất cả các câu hỏi hàng đầu hiển thị trên trang chủ SO. Đây là lý do tại sao tôi yêu Node.js và cộng đồng của nó. Nó không thể dễ dàng hơn thế :-)
Cài đặt phụ thuộc:
npm cài đặt yêu cầu cổ vũ
Và chạy (giả sử tập lệnh ở trên có trong tệp crawler.js):
nút crawler.js
Mã hóa
Một số trang sẽ có nội dung không phải tiếng Anh trong một mã hóa nhất định và bạn sẽ cần giải mã nó UTF-8. Ví dụ, một trang bằng tiếng Bồ Đào Nha của Brazil (hoặc bất kỳ ngôn ngữ nào khác có nguồn gốc Latin) có thể sẽ được mã hóa bằng ISO-8859-1(còn gọi là "latin1"). Khi cần giải mã, tôi bảo requestkhông diễn giải nội dung theo bất kỳ cách nào và thay vào đó sử dụng iconv-liteđể thực hiện công việc.
Ví dụ làm việc:
var
request = require('request'),
iconv = require('iconv-lite'),
cheerio = require('cheerio');
var
PAGE_ENCODING = 'utf-8'; // change to match page encoding
function parse(url) {
request({
url: url,
encoding: null // do not interpret content yet
}, function (error, response, body) {
var
$ = cheerio.load(iconv.decode(body, PAGE_ENCODING));
$('.question-summary .question-hyperlink').each(function () {
console.info($(this).text());
});
})
}
parse('http://stackoverflow.com/');
Trước khi chạy, cài đặt phụ thuộc:
npm cài đặt yêu cầu iconv-lite cổ vũ
Và cuối cùng:
nút crawler.js
Theo liên kết sau
Bước tiếp theo sẽ là theo liên kết. Giả sử bạn muốn liệt kê tất cả các áp phích từ mỗi câu hỏi hàng đầu trên SO. Trước tiên, bạn phải liệt kê tất cả các câu hỏi hàng đầu (ví dụ ở trên) và sau đó nhập từng liên kết, phân tích từng trang của câu hỏi để có danh sách người dùng liên quan.
Khi bạn bắt đầu theo các liên kết, một địa ngục gọi lại có thể bắt đầu. Để tránh điều đó, bạn nên sử dụng một số loại lời hứa, tương lai hoặc bất cứ điều gì. Tôi luôn giữ async trong toolbelt của mình. Vì vậy, đây là một ví dụ đầy đủ về trình thu thập thông tin bằng cách sử dụng async:
var
url = require('url'),
request = require('request'),
async = require('async'),
cheerio = require('cheerio');
var
baseUrl = 'http://stackoverflow.com/';
// Gets a page and returns a callback with a $ object
function getPage(url, parseFn) {
request({
url: url
}, function (error, response, body) {
parseFn(cheerio.load(body))
});
}
getPage(baseUrl, function ($) {
var
questions;
// Get list of questions
questions = $('.question-summary .question-hyperlink').map(function () {
return {
title: $(this).text(),
url: url.resolve(baseUrl, $(this).attr('href'))
};
}).get().slice(0, 5); // limit to the top 5 questions
// For each question
async.map(questions, function (question, questionDone) {
getPage(question.url, function ($$) {
// Get list of users
question.users = $$('.post-signature .user-details a').map(function () {
return $$(this).text();
}).get();
questionDone(null, question);
});
}, function (err, questionsWithPosters) {
// This function is called by async when all questions have been parsed
questionsWithPosters.forEach(function (question) {
// Prints each question along with its user list
console.info(question.title);
question.users.forEach(function (user) {
console.info('\t%s', user);
});
});
});
});
Trước khi chạy:
npm cài đặt yêu cầu async cổ vũ
Chạy thử nghiệm:
nút crawler.js
Đầu ra mẫu:
Is it possible to pause a Docker image build?
conradk
Thomasleveil
PHP Image Crop Issue
Elyor
Houston Molinar
Add two object in rails
user1670773
Makoto
max
Asymmetric encryption discrepancy - Android vs Java
Cookie Monster
Wand Maker
Objective-C: Adding 10 seconds to timer in SpriteKit
Christian K Rider
Và đó là điều cơ bản bạn nên biết để bắt đầu tạo trình thu thập thông tin của riêng mình :-)
Thư viện sử dụng