Phân tích tệp nhật ký cho IP thường xuyên

Vì vậy, tôi đã hack nó cùng nhau trong khi trải qua một cuộc tấn công DDOS để kéo ips nghịch ngợm ra khỏi nhật ký của tôi. Bất cứ ai có bất kỳ cải tiến hoặc đề xuất khác để làm cho nó tốt hơn?

Đây là ý tưởng chung:

1. chỉ kéo ip ra khỏi tệp nhật ký
2. sắp xếp chúng
3. uniq và đếm chúng
4. sắp xếp lại chúng

Và chuỗi o'pipes:
cut --delim " " -f7 /var/log/apache_access | sort | uniq -c | sort -rn > sorted-ips.txt

Tôi đã luôn sử dụng cái này:

tail -1000 /var/log/apache_access | awk '{print $1}' | sort -nk1 | uniq -c | sort -nk1

Với việc tailtôi có thể đặt giới hạn cho việc tôi thực sự muốn đi bao xa - thật tốt nếu bạn không sử dụng xoay vòng nhật ký (vì bất kỳ lý do gì), thứ hai tôi đang sử dụng awk- vì hầu hết các nhật ký đều được phân cách bằng không gian đã để lại cho bản thân tôi khả năng rút thêm thông tin (có thể là URL nào họ đang nhấn, trạng thái, trình duyệt, v.v.) bằng cách thêm $biến thích hợp . Cuối cùng, một lỗ hổng trong uniqnó chỉ hoạt động trong các cặp chạm - IE:

A
A
A
A
B
A
A

Sẽ sản xuất:

4 A
1 B
2 A

Không phải đầu ra mong muốn. Vì vậy, chúng tôi sắp xếp cột đầu tiên (trong trường hợp này là ips, nhưng chúng tôi có thể sắp xếp các cột khác) sau đó uniqchúng, cuối cùng sắp xếp số tăng dần để tôi có thể thấy những người phạm tội cao nhất.

Có vẻ như bạn đang ở giữa phát minh lại bánh xe fail2ban .

Hãy xem fail2ban. Nó có thể làm những gì bạn muốn, và nếu không, thật dễ dàng để tùy chỉnh.

Marco Ceppi đã đúng awkkhi trở thành một công cụ tốt hơn cho việc này nhưng awk cũng là một công cụ tốt hơn sortvà uniqvì logic đó có thể được chuyển sang awk. Sẽ không có nhiều sự khác biệt nếu bạn chỉ theo dõi 1000 dòng nhưng nếu bạn muốn xem một tệp nhật ký nhiều gig, nó có thể là các đơn đặt hàng có cường độ nhanh hơn để chuyển nó vào awk.

cat /var/log/apache_access | awk '{freq[$1]++} END {for (x in freq) {print freq[x], x}}' | sort -nsẽ làm những gì bạn cần nhưng nhanh hơn nhiều cho các tệp lớn. Nó tạo ra một mảng IP trong awk, sử dụng địa chỉ IP làm khóa và số lần IP xuất hiện làm giá trị.

Việc tăng tốc xuất hiện bởi vì awk thực hiện chuyển dữ liệu và thực hiện hầu hết công việc, ngoại trừ việc sắp xếp đầu ra cuối cùng. Sử dụng phương pháp khác, nếu bạn có 1.000.000 dòng trong nhật ký chuyển, awk sẽ đọc 1.000.000 dòng đó phun ra 1.000.000 IP, sau đó sắp xếp trên toàn bộ 1.000.000 IP, gửi 1.000.000 IP được sắp xếp tới uniq để giảm xuống còn nhỏ hơn nhiều số lượng dữ liệu trước khi đưa ra để sắp xếp. Thay vì đi vòng quanh / thực hiện nhiều lượt trên 1.000.000 IP, awk thực hiện hầu hết mọi thứ trong một lượt.

Sử dụng nhật ký apache dòng 5,513,132 (1,1 hợp đồng biểu diễn) trên máy tính xách tay của tôi, đây là so sánh tốc độ:

• 2m 45s cat ./apache_access | awk '{print $1}' | sort -nk1 | uniq -c | sort -nk1
• 0m 40 cat ./apache_access | awk '{freq[$1]++} END {for (x in freq) {print freq[x], x}}' | sort -n