Tại sao tôi nên sử dụng Wget thay vì trình duyệt? [đóng cửa]

Trong trường hợp nào tôi nên sử dụng Wget hơn là trình duyệt?

Tôi nghe nói rằng Richard Stallman sử dụng nó thay vì một trình duyệt vì một số lý do ẩn danh. Và máy chủ thấy gì khi bạn lấy các tệp của nó bằng Wget?

Thông thường, bạn sẽ không bao giờ sử dụng nó "thay vì một trình duyệt". Các trình duyệt hiển thị HTML, làm cho các liên kết có thể nhấp được (trái ngược với việc phải sao chép URL vào một lệnh wget khác theo cách thủ công), v.v. Nếu bạn lo ngại về quyền riêng tư, có hàng triệu cách để dọn sạch trình duyệt (hoặc bạn có thể sử dụng trình duyệt ít tính năng hơn, như Lynx nếu bạn thực sự muốn có được barebones mà không phá hủy tất cả giao diện người dùng).

Wget chủ yếu được sử dụng khi bạn muốn một cách nhanh chóng, rẻ tiền, có thể đọc tập lệnh / dòng lệnh. Vì vậy, ví dụ, bạn có thể đặt wget trong một tập lệnh để tải xuống một trang web được cập nhật dữ liệu mới thường xuyên, đây là thứ mà trình duyệt không thể thực sự sử dụng. Bạn có thể sử dụng các tùy chọn khác nhau của wget để thu thập dữ liệu và tự động lưu một trang web, điều mà hầu hết các trình duyệt không thể làm được, ít nhất là không có tiện ích mở rộng.

Nói tóm lại, trình duyệt là ứng dụng cho con người nhìn vào internet, wget là một công cụ cho máy móc và người dùng cung cấp năng lượng di chuyển dữ liệu qua HTTP. Rất giống nhau trong những gì họ làm (kéo tệp từ các trang web) nhưng hoàn toàn khác nhau trong cách sử dụng.

Về những gì máy chủ "nhìn thấy" khi bạn nhận được mọi thứ với wget: tất cả các máy khách HTTP (trình duyệt, wget, curl, các ứng dụng tương tự khác) truyền tải cái gọi là "Tác nhân người dùng", đây chỉ là một chuỗi mô tả trình duyệt (hoặc những ngày này, mô tả những tính năng trình duyệt mà nó có). Điều này có thể được sử dụng để hiển thị nội dung khác nhau tùy thuộc vào trình duyệt của người dùng (tức là Google cố gắng không quảng cáo Chrome cho những người đã sử dụng Chrome). Một số kẻ ngu ngốc cố gắng chặn các shenanigans quyền lực bằng cách chặn chuỗi tác nhân người dùng của wget, nhưng bạn chỉ có thể giả mạo chuỗi tác nhân người dùng Chrome để khắc phục điều đó. Thông thường, nó chỉ đơn giản được sử dụng để thống kê để bạn biết mức độ phổ biến của các trình duyệt khác nhau để bạn biết nên kiểm tra cái nào một cách kỹ lưỡng nhất.

Nếu bạn sử dụng các chức năng thu thập dữ liệu của wget, máy chủ sẽ thấy nhiều yêu cầu nhanh chóng theo thứ tự bảng chữ cái. Đó là một tặng cho mà bạn đang tìm kiếm trang web của họ. Nó trông hoàn toàn khác với trình duyệt của người dùng. Với một người dùng thực hiện các yêu cầu trong trình duyệt, mọi yêu cầu trang được theo sau bởi tất cả các hình ảnh trên trang đó, sau đó có một số chậm trễ, và sau đó có một yêu cầu cho một trang ngẫu nhiên khác (hoặc có thể là một chuỗi các trang có mục đích rõ ràng) .

Như những người khác đã đề cập, wgetcó lợi ích của việc không đi kèm với các tiện ích bổ sung, cookie và bộ đệm, điều này làm cho nó có khả năng ổn định và an toàn hơn. Nhưng trình duyệt và wgetthực sự có cách sử dụng bình thường rất khác nhau .

wgetlà một tiện ích dòng lệnh có nghĩa là để lấy nội dung, không phải để trình bày nó. Nó có thể được sử dụng để truy xuất và tải xuống mọi thứ thông qua FTP, HTTP và HTTPS, bao gồm mọi loại tệp (HTML, hình ảnh, tệp nhị phân, v.v.).

Đối với máy chủ, sự khác biệt duy nhất mà nó sẽ thấy là khác nhau user agenttrừ khi bạn sử dụng --user-agentđối số của nó để chỉ định trình duyệt. Nếu bạn làm như vậy, máy chủ sẽ không thấy bất kỳ sự khác biệt.

1) tải xuống được bắt đầu bởi một tập lệnh chứ không phải là một con người

2) tải xuống toàn bộ trang web (hoặc các đoạn của trang web) thay vì các trang riêng biệt. (Wget có thể tự động theo liên kết.)

Wget có một số tùy chọn dòng lệnh để kiểm soát những gì máy chủ nhìn thấy và có thể nghĩ, bao gồm cả sự chậm trễ tùy ý giữa các yêu cầu tải xuống các trang. Nhưng nếu máy chủ trang web có một số chính sách chống bot, bạn thường lãng phí một lượng lớn thời gian và lưu lượng truy cập trước khi bạn nhận được kết quả chấp nhận được.

Khi sử dụng trình duyệt, mọi thứ bên trong nó đều hoạt động, bao gồm các addon không mong muốn và thậm chí cả phần mềm độc hại, trong khi wget là một lệnh đơn giản để tải nội dung và hoàn toàn không có gì khác.

Trình duyệt không nhất thiết phải kém an toàn hơn nhưng có khả năng là như vậy.

Các máy chủ "thấy" một yêu cầu tải xuống, như thường lệ.

Trình duyệt có thể ghi lại các hoạt động của bạn trong lịch sử và các tập tin bộ nhớ cache.

wget không có bộ nhớ lưu giữ.

Điều đó nói rằng một trình duyệt thuận tiện hơn và tôi không quan tâm nếu NSA tìm ra tôi đã tải xuống 4.7.2-040702-generictuần trước. Tôi sử dụng trình duyệt của mình cho ngân hàng trực tuyến và paypal, điều được cho là quan trọng hơn nhiều so với phần lớn các tệp tôi có thể tải xuống với wget.

Là một nhà phát triển sử dụng các cài đặt Ubuntu từ xa, thường có rất ít điểm trong việc cài đặt GUI OS. Trong môi trường 'dòng lệnh' này, wget là một công cụ thiết yếu để tải xuống các tệp từ web.

Tôi thậm chí không chắc chắn, nếu có, trình duyệt có thể chạy từ thiết bị đầu cuối.