Habe mal so interessehalber einen x-beliebigen, deutschen Blog mit einem Spider-Simulator getestet. Wollte ich doch mal ganz genau wissen, wie ein Crawler so´ne Seite sieht. Sehr witzig und bezeichnend ist die Keyword-Analyse und was letztendlich daraus geworden ist.
Unter http://www.feedthebot.com bietet Patrick Sexton einige Tools an.
Schönes Wochenende & lasst und alle ne jute Zeit haben :)