Chặn lưu lượng truy cập giới thiệu

Tôi hiện đang nhận được một lượng lớn lưu lượng truy cập giới thiệu đến trang web của mình (Spam), đôi khi có thể tạo ra lưu lượng truy cập 1-2 GB mỗi ngày (loại này rất tệ, khi bạn có giới hạn 10 GB từ công ty lưu trữ).

Tôi đang thấy 4-5000 lượt truy cập mỗi ngày, tạo ra 20-25000 lượt xem trang ... Dường như hầu như mỗi ngày tôi phải thêm các trang web mới vào tệp .htaccess của mình để ngăn chặn trang web của tôi bị đóng vì tôi vượt quá giới hạn lưu lượng truy cập của mình .

Từ những gì tôi có thể thấy trong nhật ký, bất cứ khi nào tôi thêm một trang web bị chặn, lưu lượng truy cập sẽ bắt đầu đến từ một trang web mới trong vài giờ.

Đây là một cái gì đó từ tệp .htaccess của tôi hiện tại:

RewriteEngine On
RewriteCond %{HTTP_REFERER} ^http://www\.everyoneweb\.com [OR]
RewriteCond %{HTTP_REFERER} ^http://freefilearchive\.com [OR]
RewriteCond %{HTTP_REFERER} ^http://4runnerforex\.com [OR]
RewriteCond %{HTTP_REFERER} ^http://www\.julznakomua\.strefa\.pl [OR]
RewriteCond %{HTTP_REFERER} ^http://drugbuyersforum\.org [OR]
RewriteCond %{HTTP_REFERER} ^http://protopage\.com [OR]
RewriteCond %{HTTP_REFERER} ^http://stupidvideos\.com [OR]
RewriteCond %{HTTP_REFERER} ^https://sourceforge\.net [OR]
RewriteCond %{HTTP_REFERER} ^http://www\.sourceforge\.net [OR]
RewriteCond %{HTTP_REFERER} ^http://www\.thoughts\.com [OR]
RewriteCond %{HTTP_REFERER} ^http://www\.youfreeweb\.com [OR]
RewriteCond %{HTTP_REFERER} ^http://www\.facebook\.com\\notes\\phentermine [OR]
RewriteCond %{HTTP_REFERER} ^http://theresaraatt\.over-blog\.com [OR]
RewriteCond %{HTTP_REFERER} ^http://grou\.ps [OR]
RewriteCond %{HTTP_REFERER} ^http://www\.reverbnation\.com
RewriteRule (.*) http://%{REMOTE_ADDR}/$ [R=301,L]

order allow,deny
deny from 109.227.125.
deny from 109.227.124.
allow from all

Có ai có ý tưởng về những gì có thể được thực hiện, về tất cả lưu lượng truy cập đến theo cách của tôi không?

Vâng, bạn có thể truy cập tại đây http://aaronlogan.com/doads/htaccess.php và có một danh sách khá lớn các khối spam giới thiệu trong htaccess của bạn. Hoặc bạn có thể sử dụng một cái gì đó như sau

# set the spam_ref variable - referrer site or a keyphrase
SetEnvIfNoCase Referer "^http://(www.)?some-spammer.com" spam_ref=1
SetEnvIfNoCase Referer "^http://(www.)?other-spammer.com" spam_ref=1
SetEnvIfNoCase Referer "^casino-poker" spam_ref=1

# block all referres that have spam_ref set
<FilesMatch "(.*)">
 Order Allow,Deny
 Allow from all
 Deny from env=spam_ref
</FilesMatch>

Hoặc nếu bạn đang sử dụng php.

<?php
$block = array("xxx.xxx.xxx.xxx", "yy.yy.y.yyy");

if (in_array ($_SERVER['REMOTE_ADDR'], $block)) {
  header("Location: http://google.com/");
  exit();
}
?>

Dù bằng cách nào, bạn sẽ cần phải tiếp tục cập nhật và cập nhật khi cần thiết. Và danh sách có thể nhận được rất lớn.

Nếu đây là một ví dụ về spam giới thiệu , thì cách để ngăn chặn nó trong thời gian dài là đảm bảo rằng các tệp nhật ký của bạn không được các công cụ tìm kiếm lập chỉ mục. Điều đó làm cho điều này trở thành một bài tập vô giá trị cho người gửi thư rác và cuối cùng họ sẽ tiếp tục việc này và ngừng thực hiện nó.

Những loại đánh cắp băng thông là phổ biến trong web. bạn có thể từ chối tất cả các yêu cầu cho các tệp trang web của bạn (hình ảnh, video, ...) ngoại trừ trang web của bạn và các tên miền phụ và các tên miền mà bạn biết.

và nếu các yêu cầu đến từ các IP đặc biệt, bạn có thể chặn chúng!

mặt khác, nếu đó là cho tất cả các trang web của bạn, những gì bạn đang làm chỉ là sự lựa chọn!

Khi xử lý một vấn đề tương tự, tôi thấy rằng tất cả các yêu cầu đều đi kèm với một biến thể nhỏ của chuỗi User-Agent giả hoặc không chắc chắn.

Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; Media Center PC 6.0; InfoPath.2; MS-RTC LM 8)
Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.9.1.3) Gecko/20090824 Firefox/3.5.3 (.NET CLR 3.5.30729)
Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/532.2 (KHTML, like Gecko) Chrome/4.0.221.7 Safari/532.2
Mozilla/5.0 (Windows; U; Windows NT 5.1; pl; rv:1.9.1.3) Gecko/20090824 Firefox/3.5.3
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30)
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 8.50
Mozilla/5.0 (Windows; U; Windows NT 6.1; en-GB; rv:1.9.1.3) Gecko/20090824 Firefox/3.5.3
Opera/9.64(Windows NT 5.1; U; en) Presto/2.1.1
Mozilla/5.0 (X11; U; Linux i686; it-IT; rv:1.9.0.2) Gecko/2008092313 Ubuntu/9.25 (jaunty) Firefox/3.8
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.14) Gecko/2009082707 Firefox/3.0.14 (.NET CLR 3.5.30729)

Nếu điều tương tự áp dụng cho trường hợp của bạn, bạn có thể chặn các yêu cầu đến từ các UA giả mạo đó.