Có thể tìm thấy tất cả các trang và liên kết trên BẤT KỲ trang web nào không? Tôi muốn nhập một URL và tạo một cây thư mục gồm tất cả các liên kết từ trang web đó?
Tôi đã xem xét HTTrack nhưng nó tải xuống toàn bộ trang web và tôi chỉ cần cây thư mục.
Câu trả lời:
Kiểm tra linkchecker — nó sẽ thu thập dữ liệu trang web (trong khi tuân theo robots.txt) và tạo báo cáo. Từ đó, bạn có thể lập kịch bản cho một giải pháp để tạo cây thư mục.
robots.txttệp, điều đó chỉ có nghĩa là bạn có thể thu thập thông tin về nội dung trái tim của mình.
Nếu bạn có bảng điều khiển dành cho nhà phát triển (JavaScript) trong trình duyệt của mình, bạn có thể nhập mã này vào:
urls = document.querySelectorAll('a'); for (url in urls) console.log(urls[url].href);
Rút gọn:
n=$$('a');for(u in n)console.log(n[u].href)
$$điều hành? Hay đó chỉ là một tên hàm tùy ý, giống như n=ABC(''a'); tôi không hiểu làm thế nào để urlsnhận được tất cả các phần tử được gắn thẻ 'a'. Bạn có thể giải thích? Tôi giả sử nó không phải là jQuery. Chúng ta đang nói đến chức năng thư viện nguyên mẫu nào?
$$()về cơ bản là viết tắt cho document.querySelectorAll(). Thông tin thêm tại liên kết này: developer.mozilla.org/en-US/docs/Web/API/Document/…
Một thay thế khác có thể là
Array.from(document.querySelectorAll("a")).map(x => x.href)
Với của bạn $$(nó thậm chí còn ngắn hơn
Array.from($$("a")).map(x => x.href)
Nếu đây là một câu hỏi về lập trình, thì tôi khuyên bạn nên viết biểu thức chính quy của riêng mình để phân tích cú pháp tất cả các nội dung được truy xuất. Các thẻ mục tiêu là IMG và A cho HTML tiêu chuẩn. Đối với JAVA,
final String openingTags = "(<a [^>]*href=['\"]?|<img[^> ]* src=['\"]?)";
điều này cùng với các lớp Mẫu và Đối sánh sẽ phát hiện phần đầu của các thẻ. Thêm thẻ LINK nếu bạn cũng muốn CSS.
Tuy nhiên, nó không dễ dàng như bạn có thể nghĩ. Nhiều trang web không được định hình tốt. Việc trích xuất tất cả các liên kết theo chương trình mà con người có thể "nhận ra" thực sự khó khăn nếu bạn cần tính đến tất cả các biểu thức bất thường.
Chúc may mắn!
function getalllinks($url) {
$links = array();
if ($fp = fopen($url, 'r')) {
$content = '';
while ($line = fread($fp, 1024)) {
$content. = $line;
}
}
$textLen = strlen($content);
if ($textLen > 10) {
$startPos = 0;
$valid = true;
while ($valid) {
$spos = strpos($content, '<a ', $startPos);
if ($spos < $startPos) $valid = false;
$spos = strpos($content, 'href', $spos);
$spos = strpos($content, '"', $spos) + 1;
$epos = strpos($content, '"', $spos);
$startPos = $epos;
$link = substr($content, $spos, $epos - $spos);
if (strpos($link, 'http://') !== false) $links[] = $link;
}
}
return $links;
}
hãy thử mã này ...