Eine Index-Seite mit Links zu allen Inhalten einer Site ist etwas Gutes. Für die Besucherinnen und Besucher, weil sie die gewünschten Inhalte nach Stichworten auswählen können. Und für Suchroboter, weil sie vielen Links folgen können.
Mit meinem Quick-Index habe ich die Bots allerdings in die Irre geführt. Die Seite enthielt falsche Links auf Seiten, die gar nicht mehr existierten. Mittels Redirect 301 wurden Besucher wie Roboter zwar automatisch weiter geleitet. Ein sichtbarer Fehler trat also nicht auf. Aber die Bots crawlten sich durch URLs, die gar nicht vorhanden waren. Und die ungültigen Adressen wurden dann von einzelnen Maschinen in den Index aufgenommen.
Darauf aufmerksam wurde ich durch den URL Recommender von AskJeeves. Damit schickt man den Spider auf eine Site. In einer Tabelle werden alle erfassten URL angezeigt. Die lassen sich dann dei AskJeeves/Teoma kostenpflichtig anmelden (was ich allerdings ausliess).
Weblog von 
