Phát hiện trình thu thập thông tin web 'tàng hình'

Có những tùy chọn nào để phát hiện trình thu thập thông tin web không muốn bị phát hiện?

(Tôi biết rằng các kỹ thuật phát hiện danh sách sẽ cho phép lập trình viên thu thập thông tin tàng hình thông minh tạo ra một con nhện tốt hơn, nhưng tôi không nghĩ rằng chúng ta sẽ có thể chặn những trình thu thập thông tin tàng hình thông minh, chỉ những con mắc lỗi.)

Tôi không nói về các trình thu thập thông tin tốt như googlebot và Yahoo! Húp xì xụp. Tôi coi một con bot tốt nếu nó:

1. tự nhận dạng mình là một bot trong chuỗi tác nhân người dùng
2. đọc robots.txt (và tuân theo nó)

Tôi đang nói về những trình thu thập dữ liệu tồi , ẩn sau các tác nhân người dùng thông thường, sử dụng băng thông của tôi và không bao giờ trả lại cho tôi bất cứ thứ gì.

Có một số cửa sổ bẫy có thể được xây dựng danh sách cập nhật (cảm ơn Chris, gs) :

1. Chỉ thêm một thư mục được liệt kê (được đánh dấu là không cho phép) trong robots.txt,
2. Thêm liên kết vô hình (có thể được đánh dấu là rel = "nofollow"?),
   • style = "display: none;" trên liên kết hoặc vùng chứa mẹ
   • được đặt bên dưới một phần tử khác có chỉ số z cao hơn
3. phát hiện ai không hiểu cách viết hoa,
4. phát hiện ai cố gắng đăng câu trả lời nhưng luôn thất bại Captcha.
5. phát hiện các yêu cầu GET đối với các tài nguyên chỉ ĐĂNG
6. phát hiện khoảng thời gian giữa các yêu cầu
7. phát hiện thứ tự các trang được yêu cầu
8. phát hiện ai (nhất quán) yêu cầu tài nguyên https qua http
9. phát hiện ai không yêu cầu tệp hình ảnh (điều này kết hợp với danh sách tác nhân người dùng của các trình duyệt có khả năng hình ảnh đã biết hoạt động tốt một cách đáng ngạc nhiên)

Một số bẫy sẽ được kích hoạt bởi cả bot 'tốt' và 'xấu'. bạn có thể kết hợp chúng với một danh sách trắng:

1. Nó kích hoạt một cái bẫy
2. Nó yêu cầu robots.txt?
3. Nó không kích hoạt một cái bẫy khác vì nó đã tuân theo robots.txt

Một điều quan trọng khác ở đây là:
Vui lòng xem xét những người mù sử dụng trình đọc màn hình: cung cấp cho mọi người cách liên hệ với bạn hoặc giải quyết Captcha (không phải hình ảnh) để tiếp tục duyệt.

Có những phương pháp nào để tự động phát hiện các trình thu thập thông tin web đang cố che giấu mình là những người truy cập bình thường.

Cập nhật
Câu hỏi không phải là: Làm cách nào để bắt mọi trình thu thập thông tin. Câu hỏi đặt ra là: Làm cách nào để tối đa hóa cơ hội phát hiện trình thu thập thông tin.

Một số trình thu thập dữ liệu thực sự tốt, và thực sự phân tích cú pháp và hiểu html, xhtml, css javascript, VB script, v.v.
Tôi không có ảo tưởng: Tôi sẽ không thể đánh bại chúng.

Tuy nhiên, bạn sẽ ngạc nhiên về việc một số trình thu thập thông tin ngu ngốc đến mức nào. Với ví dụ tốt nhất về sự ngu ngốc (theo ý kiến ​​của tôi) là: chuyển tất cả các URL thành chữ thường trước khi yêu cầu chúng.

Và sau đó là một loạt các trình thu thập thông tin 'không đủ tốt' để tránh các cửa sổ bẫy khác nhau.

Một thời gian trước, tôi đã làm việc với một công ty lưu trữ nhỏ để giúp họ thực hiện một giải pháp cho vấn đề này. Hệ thống mà tôi phát triển đã kiểm tra nhật ký máy chủ web để tìm hoạt động quá mức từ bất kỳ địa chỉ IP nhất định nào và ban hành các quy tắc tường lửa để chặn kẻ vi phạm. Nó bao gồm danh sách trắng các địa chỉ / dải IP dựa trên http://www.iplists.com/ , sau đó được cập nhật tự động khi cần thiết bằng cách kiểm tra các chuỗi tác nhân người dùng được xác nhận quyền sở hữu và nếu khách hàng tuyên bố là một trình thu thập dữ liệu hợp pháp nhưng không có trên danh sách trắng, nó đã thực hiện tra cứu DNS / DNS ngược để xác minh rằng địa chỉ IP nguồn tương ứng với chủ sở hữu được xác nhận quyền sở hữu của bot. Với tư cách là an toàn dự phòng, những hành động này đã được báo cáo cho quản trị viên qua email, cùng với các liên kết đến địa chỉ đen / danh sách trắng trong trường hợp đánh giá không chính xác.

Tôi đã không nói chuyện với khách hàng đó trong 6 tháng hoặc lâu hơn, nhưng, lần cuối cùng tôi nghe nói, hệ thống đang hoạt động khá hiệu quả.

Điểm phụ: Nếu bạn đang nghĩ đến việc thực hiện một hệ thống phát hiện tương tự dựa trên giới hạn tỷ lệ truy cập, hãy đảm bảo sử dụng tổng ít nhất một phút (và tốt nhất là ít nhất năm phút). Tôi thấy nhiều người nói về những loại kế hoạch này muốn chặn bất kỳ ai đạt từ 5-10 lượt truy cập trong một giây, điều này có thể tạo ra kết quả dương tính giả trên các trang có nhiều hình ảnh (trừ khi hình ảnh bị loại khỏi bảng kiểm đếm) và sẽ tạo ra sai tích cực khi ai đó như tôi tìm thấy một trang web thú vị mà anh ta muốn đọc hết, vì vậy anh ta mở tất cả các liên kết trong các tab để tải ở chế độ nền trong khi đọc trang đầu tiên.

Xem Dự án Honeypot - họ đang thiết lập bẫy bot trên quy mô lớn (và có DNSRBL với IP của họ).

Sử dụng các URL và HTML phức tạp:

<a href="https://stackoverflow.com//example.com/"> = http://example.com/ on http pages.
<a href="page&amp;&#x23;hash"> = page& + #hash

Trong HTML, bạn có thể sử dụng nhiều thủ thuật với chú thích, phần tử CDATA, thực thể, v.v.:

<a href="foo<!--bar-->"> (comment should not be removed)
<script>var haha = '<a href="bot">'</script>
<script>// <!-- </script> <!--><a href="bot"> <!-->

Một giải pháp dễ dàng là tạo một liên kết và làm cho nó ẩn

<a href="iamabot.script" style="display:none;">Don't click me!</a>

Tất nhiên, bạn nên mong đợi rằng một số người xem mã nguồn theo liên kết đó chỉ để xem nó dẫn đến đâu. Nhưng bạn có thể giới thiệu những người dùng đó bằng hình ảnh xác thực ...

Tất nhiên, các trình thu thập thông tin hợp lệ cũng sẽ đi theo liên kết. Nhưng bạn không nên triển khai rel = nofollow mà hãy tìm dấu hiệu của trình thu thập thông tin hợp lệ. (như tác nhân người dùng)

Một thứ mà bạn không liệt kê, được sử dụng phổ biến để phát hiện trình thu thập thông tin xấu.

Tốc độ truy cập, trình thu thập dữ liệu web tốt sẽ chia nhỏ lượt truy cập của họ để họ không làm trang web có yêu cầu. Những người xấu sẽ làm một trong ba điều:

1. lần lượt nhấn các liên kết tuần tự
2. nhấn các liên kết tuần tự trong một số chuỗi paralell (2 hoặc nhiều hơn cùng một lúc.)
3. nhấn các liên kết tuần tự ở một khoảng thời gian cố định

Ngoài ra, một số chương trình duyệt ngoại tuyến sẽ chiếm một số trang, tôi không chắc bạn muốn sử dụng loại ngưỡng nào để bắt đầu chặn theo địa chỉ IP.

Phương pháp này cũng sẽ bắt các chương trình phản chiếu như fmirror hoặc wget.

Nếu bot ngẫu nhiên hóa khoảng thời gian, bạn có thể kiểm tra xem liệu các liên kết được duyệt theo cách tuần tự hay theo chiều sâu, hoặc bạn có thể xem liệu bot đang duyệt qua một lượng lớn văn bản (như bằng chữ để đọc) trong một khoảng thời gian quá ngắn. Một số trang web cũng giới hạn số lượng yêu cầu mỗi giờ.

Thực ra, tôi đã nghe một ý tưởng ở đâu đó, tôi không nhớ ở đâu, rằng nếu một người dùng nhận được quá nhiều dữ liệu, tính theo kilobyte, họ có thể được đưa ra một hình ảnh xác thực yêu cầu họ chứng minh họ không phải là bot. Tôi chưa bao giờ thấy điều đó được thực hiện mặc dù.

Đối với việc ẩn các liên kết, bạn có thể đặt một div bên dưới một div khác, với CSS (đặt nó trước theo thứ tự vẽ) và có thể đặt thứ tự z. Một bot không thể bỏ qua điều đó, nếu không phân tích cú pháp tất cả javascript của bạn để xem nó có phải là một menu hay không. Ở một mức độ nào đó, các liên kết bên trong các phần tử DIV vô hình cũng không thể bị bỏ qua nếu không có bot phân tích cú pháp tất cả javascript.

Hoàn thành ý tưởng đó, javascript không được gọi có khả năng hiển thị các phần tử ẩn sẽ có thể đánh lừa một tập hợp con các chương trình phân tích cú pháp javascript. Và, nó không phải là rất nhiều công việc để thực hiện.

Một phương pháp phát hiện bot đơn giản mà tôi đã nghe nói đến cho các biểu mẫu là kỹ thuật nhập ẩn. Nếu bạn đang cố gắng bảo mật một biểu mẫu, hãy đặt đầu vào trong biểu mẫu với một id trông hoàn toàn hợp pháp. Sau đó, sử dụng css trong một tệp bên ngoài để ẩn nó. Hoặc nếu bạn thực sự hoang tưởng, hãy thiết lập thứ gì đó như jquery để ẩn hộp nhập khi tải trang. Nếu bạn làm đúng, tôi tưởng tượng sẽ rất khó để một con bot tìm ra. Bạn biết những bot đó có tính chất là điền mọi thứ trên một trang, đặc biệt nếu bạn cung cấp cho đầu vào ẩn của mình một id của một cái gì đó như id = "fname", v.v.

Không thực sự dễ dàng để theo kịp các chuỗi tác nhân người dùng tốt. Các phiên bản trình duyệt đến và đi. Lập một thống kê về chuỗi tác nhân người dùng theo các hành vi khác nhau có thể tiết lộ những điều thú vị.

Tôi không biết điều này có thể được tự động hóa đến mức nào, nhưng ít nhất nó là một điều khác biệt.

Chưa được kiểm tra, nhưng đây là danh sách tuyệt vời về các tác nhân người dùng mà bạn có thể tạo biểu thức chính quy. Có thể giúp bạn hầu hết con đường đến đó:

ADSARobot|ah-ha|almaden|aktuelles|Anarchie|amzn_assoc|ASPSeek|ASSORT|ATHENS|Atomz|attach|attache|autoemailspider|BackWeb|Bandit|BatchFTP|bdfetch|big.brother|BlackWidow|bmclient|Boston\ Project|BravoBrian\ SpiderEngine\ MarcoPolo|Bot\ mailto:craftbot@yahoo.com|Buddy|Bullseye|bumblebee|capture|CherryPicker|ChinaClaw|CICC|clipping|Collector|Copier|Crescent|Crescent\ Internet\ ToolPak|Custo|cyberalert|DA$|Deweb|diagem|Digger|Digimarc|DIIbot|DISCo|DISCo\ Pump|DISCoFinder|Download\ Demon|Download\ Wonder|Downloader|Drip|DSurf15a|DTS.Agent|EasyDL|eCatch|ecollector|efp@gmx\.net|Email\ Extractor|EirGrabber|email|EmailCollector|EmailSiphon|EmailWolf|Express\ WebPictures|ExtractorPro|EyeNetIE|FavOrg|fastlwspider|Favorites\ Sweeper|Fetch|FEZhead|FileHound|FlashGet\ WebWasher|FlickBot|fluffy|FrontPage|GalaxyBot|Generic|Getleft|GetRight|GetSmart|GetWeb!|GetWebPage|gigabaz|Girafabot|Go\!Zilla|Go!Zilla|Go-Ahead-Got-It|GornKer|gotit|Grabber|GrabNet|Grafula|Green\ Research|grub-client|Harvest|hhjhj@yahoo|hloader|HMView|HomePageSearch|http\ generic|HTTrack|httpdown|httrack|ia_archiver|IBM_Planetwide|Image\ Stripper|Image\ Sucker|imagefetch|IncyWincy|Indy*Library|Indy\ Library|informant|Ingelin|InterGET|Internet\ Ninja|InternetLinkagent|Internet\ Ninja|InternetSeer\.com|Iria|Irvine|JBH*agent|JetCar|JOC|JOC\ Web\ Spider|JustView|KWebGet|Lachesis|larbin|LeechFTP|LexiBot|lftp|libwww|likse|Link|Link*Sleuth|LINKS\ ARoMATIZED|LinkWalker|LWP|lwp-trivial|Mag-Net|Magnet|Mac\ Finder|Mag-Net|Mass\ Downloader|MCspider|Memo|Microsoft.URL|MIDown\ tool|Mirror|Missigua\ Locator|Mister\ PiX|MMMtoCrawl\/UrlDispatcherLLL|^Mozilla$|Mozilla.*Indy|Mozilla.*NEWT|Mozilla*MSIECrawler|MS\ FrontPage*|MSFrontPage|MSIECrawler|MSProxy|multithreaddb|nationaldirectory|Navroad|NearSite|NetAnts|NetCarta|NetMechanic|netprospector|NetResearchServer|NetSpider|Net\ Vampire|NetZIP|NetZip\ Downloader|NetZippy|NEWT|NICErsPRO|Ninja|NPBot|Octopus|Offline\ Explorer|Offline\ Navigator|OpaL|Openfind|OpenTextSiteCrawler|OrangeBot|PageGrabber|Papa\ Foto|PackRat|pavuk|pcBrowser|PersonaPilot|Ping|PingALink|Pockey|Proxy|psbot|PSurf|puf|Pump|PushSite|QRVA|RealDownload|Reaper|Recorder|ReGet|replacer|RepoMonkey|Robozilla|Rover|RPT-HTTPClient|Rsync|Scooter|SearchExpress|searchhippo|searchterms\.it|Second\ Street\ Research|Seeker|Shai|Siphon|sitecheck|sitecheck.internetseer.com|SiteSnagger|SlySearch|SmartDownload|snagger|Snake|SpaceBison|Spegla|SpiderBot|sproose|SqWorm|Stripper|Sucker|SuperBot|SuperHTTP|Surfbot|SurfWalker|Szukacz|tAkeOut|tarspider|Teleport\ Pro|Templeton|TrueRobot|TV33_Mercator|UIowaCrawler|UtilMind|URLSpiderPro|URL_Spider_Pro|Vacuum|vagabondo|vayala|visibilitygap|VoidEYE|vspider|Web\ Downloader|w3mir|Web\ Data\ Extractor|Web\ Image\ Collector|Web\ Sucker|Wweb|WebAuto|WebBandit|web\.by\.mail|Webclipping|webcollage|webcollector|WebCopier|webcraft@bea|webdevil|webdownloader|Webdup|WebEMailExtrac|WebFetch|WebGo\ IS|WebHook|Webinator|WebLeacher|WEBMASTERS|WebMiner|WebMirror|webmole|WebReaper|WebSauger|Website|Website\ eXtractor|Website\ Quester|WebSnake|Webster|WebStripper|websucker|webvac|webwalk|webweasel|WebWhacker|WebZIP|Wget|Whacker|whizbang|WhosTalking|Widow|WISEbot|WWWOFFLE|x-Tractor|^Xaldon\ WebSpider|WUMPUS|Xenu|XGET|Zeus.*Webster|Zeus [NC]

Lấy từ: http://perishablepress.com/press/2007/10/15/ultimate-htaccess-blacklist-2-compressed-version/

Bạn cũng có thể kiểm tra giới thiệu. Không có giới thiệu nào có thể làm dấy lên nghi ngờ về bot. Giới thiệu xấu có nghĩa là chắc chắn nó không phải là trình duyệt.

Thêm liên kết vô hình (có thể được đánh dấu là rel = "nofollow"?),

* style="display: none;" on link or parent container
* placed underneath another element with higher z-index

Tôi sẽ không làm điều đó. Bạn có thể bị google đưa vào danh sách đen vì SEO mũ đen :)

Tôi hiện đang làm việc cho một công ty chuyên quét các trang web để phân loại chúng. Chúng tôi cũng kiểm tra các trang web để tìm phần mềm độc hại.

Theo kinh nghiệm của tôi, trình chặn số một của trình thu thập thông tin web của chúng tôi (tất nhiên là sử dụng IE hoặc Firefox UA và không tuân theo robots.txt. Duh.) Là các trang web cố ý lưu trữ phần mềm độc hại. Thật khó khăn vì trang web sau đó rơi vào tay con người, người phải tải trang web theo cách thủ công, phân loại và kiểm tra phần mềm độc hại.

Tôi chỉ nói rằng, bằng cách chặn các trình thu thập dữ liệu web, bạn đang đưa mình vào một công ty tồi.

Tất nhiên, nếu họ thô lỗ khủng khiếp và hút hàng tấn băng thông của bạn thì đó là một câu chuyện khác bởi vì bạn có lý do chính đáng.

Mọi người tiếp tục giải quyết các trình thu thập thông tin rộng nhưng không giải quyết các trình thu thập thông tin chuyên biệt cho trang web của bạn.

Tôi viết các trình thu thập thông tin tàng hình và nếu chúng được xây dựng riêng lẻ thì không có số lượng bình mật ong hoặc các liên kết ẩn sẽ có tác dụng gì - cách thực sự duy nhất để phát hiện trình thu thập thông tin chuyên dụng là kiểm tra các mẫu kết nối.

Các hệ thống tốt nhất sử dụng AI (ví dụ: Linkedin) sử dụng AI để giải quyết vấn đề này.
Giải pháp đơn giản nhất là viết trình phân tích cú pháp nhật ký phân tích các kết nối IP và chỉ cần đưa vào danh sách đen các IP đó hoặc phân phát captcha, ít nhất là tạm thời.

Ví dụ:
nếu IP X được nhìn thấy cứ sau 2 giây kết nối với foo.com/cars/*.htmlnhưng không phải bất kỳ trang nào khác - rất có thể đó là một bot hoặc một người dùng thiếu năng lượng.

Ngoài ra, có nhiều thách thức javascript khác nhau hoạt động như một biện pháp bảo vệ (ví dụ như hệ thống chống bot của Cloudflare), nhưng những thách thức đó có thể giải quyết dễ dàng, bạn có thể viết một cái gì đó tùy chỉnh và điều đó có thể đủ răn đe để trình thu thập thông tin không phải nỗ lực.

Tuy nhiên, bạn phải đặt một câu hỏi là bạn có sẵn sàng cho người dùng hợp pháp dương tính giả và gây bất tiện cho họ để ngăn chặn lưu lượng truy cập bot. Bảo vệ dữ liệu công khai là một nghịch lý không thể.

câu trả lời ngắn gọn: nếu một lập trình viên cấp trung bình biết anh ta đang làm gì, bạn sẽ không thể phát hiện trình thu thập thông tin mà không ảnh hưởng đến người dùng thực. Công khai thông tin của bạn, bạn sẽ không thể bảo vệ nó trước trình thu thập thông tin ... nó giống như quyền sửa đổi đầu tiên :)