Apache Weiterleitung für Endlosschleife

[Dirk]

Vielleicht weiß ja jemand Rat, wegen kaputten Searchbots habe ich URLs im Log die so aussehen:

Code:

https://winhistory.de/more/chicago.htm/bilder/386/downloads/winstart/downloads/vpc/vpc/winstart/bilder/win98int.htm

Also ne Seite hier Chicago.htm und danach noch sinnlose Pfade und dann ne andere Datei. Er lädt die Chicago Seite und das Scripting ist kaputt, weil relative Pfade ins Klo gehen.

Bisher habe ich das in der htaccess ausgefiltert. Aber ich Frage mich, wo diese Funktion herkommt. Das Problem ist das die Seite halt was liefert und der bot von da aus endlos Müll erfindet. Wahrscheinlich war einfach nur mal nen Link kaputt.

Jemand ne Idee?? Weiß nicht so recht wonach ich da googeln soll.

[s4ndwichMakeR]

Rausfitern? Falls du „fehlerhafte Routen durch manuelle Einträge oder Regeln dann doch zum richtigen Inhalt leiten“ meinst, dann ist das ja absolut nicht zu empfehlen, weil du jede Engine darin bestärktst, dass es dort was zu holen gibt. Nach einer Weile 404 hinter einem bestimmten URL dürfte die Engine das doch wohl rausnehmen?

Hast du eigentlich irgendwo eine Engine-freundliche Sitemap (z.B. dieser Sitemap-XML-Standard), um den Crawlern Starthilfe zu geben?

[Dirk]

Hab jetzt wieder nen Filter drin, versteh den Fehler aber nicht. Die Uri gibt's nicht, also müsste auch ohne rumfummeln nen 404 geben?

Ja es ist besser geworden. Bis ich das vor ein paar Jahren im Fehler log gefunden hatte, waren erhebliche traffic Anteile da drin.

Nein eine sitemap habe ich nicht. Weil müsste ich manuell pflegen und für die Bots aus dem Westen unnötig. Waren alles russische Bots. Nicht gerade nützliche user-schaft. Im log findet sich auch etliche WordPress URLs. Überlege da mal was hinzuzufügen.

Leider ist die Web Statistik vom neuen hoster auch total altbacken. Netscape ist da der beliebteste browser