Làm cách nào để các trang web phát hiện bot phía sau proxy hoặc mạng công ty

Làm thế nào để các trang web lớn (ví dụ Wikipedia) đối phó với các bot đứng sau mặt nạ IP khác? Chẳng hạn, ở trường đại học của tôi, mọi người đều tìm kiếm Wikipedia, mang lại cho nó một tải trọng đáng kể. Nhưng, theo như tôi biết, Wikipedia chỉ có thể biết IP của bộ định tuyến đại học, vì vậy nếu tôi thiết lập một bot "giải phóng" (chỉ có một độ trễ nhỏ giữa các yêu cầu), Wikipedia có thể cấm bot của tôi mà không cấm toàn bộ tổ chức không? một trang web thực sự có thể cấm một IP đằng sau một mạng lưới tổ chức?

Không, họ sẽ cấm IP công cộng và tất cả những ai là NAT của IP đó cũng sẽ bị cấm.

Mặc dù ít nhất là tại stack nếu chúng tôi nghĩ rằng chúng tôi sẽ cấm một trường đại học hoặc một cái gì đó tương tự, chúng tôi sẽ liên hệ với người liên hệ lạm dụng của họ để khiến họ theo dõi kẻ phạm tội và ngăn chặn vấn đề.

Một trang web không thể trực tiếp cấm một IP đứng sau NAT. Nó có thể hoạt động trên các IP được chuyển qua các proxy HTTP không ẩn danh - khi một proxy như vậy chuyển tiếp yêu cầu, nó thường nối địa chỉ đó vào tiêu đề X-Forwarded-For, vì vậy nếu truy cập từ mạng riêng của bạn thực sự phải đi qua như vậy proxy IP nội bộ có thể bị lộ; tuy nhiên, hầu hết các trang web (bao gồm cả wikipedia) sẽ không tin vào thông tin trong tiêu đề đó bởi vì nó dễ bị giả mạo để ám chỉ các IP vô tội hoặc trốn tránh các lệnh cấm.

Tuy nhiên, có những kỹ thuật khác cố gắng xác định duy nhất người dùng độc lập với địa chỉ IP. Bạn có thể thẩm vấn trình duyệt web để biết nhiều thông tin về nó và hệ thống mà nó đang chạy, chẳng hạn như tác nhân người dùng, độ phân giải màn hình, danh sách các plugin, v.v. - xem https://github.com/carlo/jquery- dấu vân tay trình duyệtcho một ví dụ về điều này trong thực tế. Bạn có thể sử dụng dấu vân tay đó để kiểm soát quyền truy cập, mặc dù tùy thuộc vào thiết kế trang web, bạn có thể tương tác với nó mà không cần tham gia vào quá trình lấy dấu vân tay và ngay cả khi bot không thể cung cấp dữ liệu giả và ngẫu nhiên để tránh có dấu vân tay phù hợp nếu bạn nhận thức được loại bảo vệ này. Phương pháp kiểm soát này cũng có nguy cơ dương tính giả, đặc biệt là khi nói đến thiết bị di động, nơi có thể sẽ có một số lượng lớn khách hàng chạy các máy khách chứng khoán giống hệt nhau trên phần cứng chứng khoán giống hệt nhau (hầu hết mọi người trên một mẫu iPhone cụ thể chạy phiên bản cụ thể của iOS , ví dụ, có thể sẽ có cùng dấu vân tay).

Nói chung, địa chỉ IP không đủ thông tin cho lệnh cấm chính xác. Vì vậy, các mạng tiên tiến hoạt động cao lên ngăn xếp mạng.

Một cuộc tấn công từ chối dịch vụ (DoS) (mà bạn lo lắng về việc tạo) thường được xử lý bằng cách giới hạn tốc độ thiết lập kết nối TCP ban đầu. Điều này có nghĩa là người dùng hợp pháp sẵn sàng chờ đợi sẽ vượt qua trong khi những người chỉ cố gắng tiêu thụ tài nguyên máy chủ bị chậm lại đến mức nó trở nên vô hại. Đây là nơi DoS sau đó phát triển thành một cuộc tấn công DoS phân tán (DDoS).

Khi bạn có kết nối đến máy chủ, bạn có thể thực hiện bao nhiêu yêu cầu tùy ý, quản trị máy chủ web có thể định cấu hình bao nhiêu yêu cầu để xử lý.

Dù sao thì máy chủ web có thể xử lý nhiều dung lượng hơn cổng mạng cục bộ của bạn, đó có lẽ là yếu tố hạn chế trong trường hợp sử dụng của bạn. Tôi cá rằng các quản trị viên mạng Đại học của bạn sẽ đến gõ cửa nhà bạn trước khi Wikipedia làm.

Điều quan trọng là trở thành một công dân Internet tốt vì vậy tôi sẽ thêm mã giới hạn tỷ lệ vào bot.

Cũng cần chỉ ra rằng Wikipedia cung cấp các bãi chứa dữ liệu để việc truy tìm trang web không thực sự cần thiết.