admin

Apache-Logfiles: Hotlinking nach Häufigkeit filtern

Das direkte Verlinken oder Einbinden von eigenen Dateien durch fremde Webseiten (Hotlinking) ist ein Ärgernis, das nicht nur Bandbreite frisst, sondern die eigenen Inhalte auch noch aus dem Kontext gerissen darstellt (siehe auch: Hotlinking – Gefahren und Gegenmaßnahmen). Mit einem kleinen Code-Schnipsel kann man sich auf der Konsole alle Webseiten (geordnet nach Häufigkeit der Aufrufe) anzeigen lassen, die auf die eigenen Inhalte hotlinken:

Apache: Hotlinking nach Häufigkeit der Referer gefiltert (...) mehr...

Apache – “Bad Bots” mit htaccess aussperren

Suchmaschinen-Bots crawlen und indexieren Webseiten und bringen durch die Suchergebnisse überhaupt erst einen Großteil der Besucher auf die eigene Webseite.

Ein Blick in die Apache-Logfiles zeigt aber, dass es auch “unerwünschte” Bots gibt. Solche Bots verursachen z.B. übermäßigen Traffic, suchen automatisiert nach Urheberrechtsverletzungen oder nutzen Daten als Marketing-Asset.

Methoden, um unerwünschte Bots auszusperren gibt es einige. So kann man z.B. einen unerwünschten Bot (hier der fiktive EVIL-BOT) in die robots.txt schreiben und den Zugang “verbieten”: (...) mehr...