Spider-Trap für böse Bots
Samstag, 14. Januar 2006Gestern habe ich bei Mario den Beitrag über die Spider-Trap gelesen. Diese kleine Falle fängt Spider ein, die sich nicht an die robots.txt halten und in verbotenen Verzeichnissen spidern wollen. Die IP dieser fiesen Robots wird sogleich per .htaccess gesperrt. Damit dürfte man so einige Content-Grabber