Chúng tôi đã có một số vấn đề nghiêm trọng với con nhện được viết xấu của Yahoo trong quá khứ và kết quả là chúng tôi đã chặn chúng. Marco Arment của Tumblr cũng chia sẻ sự thất vọng của anh ấy với chúng tôi vào ngày 31 tháng 8 năm 2009, đó là một yếu tố khiến chúng tôi chặn họ.
[Spider của Yahoo] đã tràn ngập chúng tôi với 70-200 yêu cầu / giây kể từ khoảng 5:30 sáng EST. Tôi chưa bao giờ thấy bất cứ điều gì như thế này, ngay cả từ các trình thu thập dữ liệu "thử nghiệm" lừa đảo của họ đã lạm dụng chúng tôi trong quá khứ. Lệnh cấm Robots.txt không đủ: Tôi phải chặn chúng bằng IP ở cấp độ cân bằng tải. Vì họ đã lạm dụng Stack Overflow trong quá khứ, tôi cho rằng bạn có thể muốn biết.
Có vẻ như tìm kiếm trên web của Yahoo là "Powered by Bing!" hiện nay. Điều này là tốt, bởi vì chúng tôi chưa bao giờ gặp vấn đề với nhện của Bing (còn gọi là MSNBOT).
Vì vậy, hiện tại tìm kiếm của Yahoo giống như tìm kiếm Bing hay chúng ta nên xem xét khả năng bỏ chặn chúng nếu chúng bằng cách nào đó, chống lại tất cả các tỷ lệ cược, đã ngừng hút quá mạnh?