Web-Roboter
Nofollow links
Das Standard-PmWiki-Skin fügt zu allen verfügbaren Aktionen (Vue, Éditer, Historique, Joindre, Imprimer und Backllinks) "rel=nofollow" hinzu. Das ist eine Vereinbarung, die von Google eingeführt wurde und die Web-Robotern anweist, den Verweisen nicht zu folgen und den Inhalten, auf die mit dem Verweis zugegriffen wird, keine Bedeutung zuzumessen. [1]
Beachten Sie, dass viele Roboter, einschließlich Yahoo! Slurp und msnbot, das "nofollow"-Attribut in den Verweisen vollständig missachtet.
Die Anti-Spam-Vereinbarung, die "nofollow" zuerst eingeführt hat, sagte nichts aus darüber, dass Roboter dem Verweis nicht folgen, sondern nur, dass Verweise mit "rel=nofollow" in Suchergebnissen keine Gewichtung erhalten sollen.
Sie können selbst rel=nofollow zu jedem ihrer Verweise hinzufügen, indem Sie die Wikistile verwenden:
%rel=nofollow$[[Ihr Verweis]]%%
Die Datei robots.txt
Hier ist ein Beispiel für den Inhalt einer robots.txt-Datei, das vor Allem den Robotern sagt, sie mögen Verweisen mit 'action=' nicht folgen:
User-agent: * Disallow: /pmwiki.php/Main/AllRecentChanges Disallow: /pmwiki.php/ Disallow: */search Disallow: SearchWiki Disallow: *RecentChanges Disallow: RecentChanges Disallow: *action= Disallow: action= User-Agent: W3C-checklink Disallow:
Roboter Variablen
Wir können nun bessere Kontrolle über Roboter(webcrawler)-Interaktionen mit einer Site unterstützen, um die Serverlast zu verringern.
- $RobotPattern
- wird genutzt, um Roboter auf Basis des user-agent strings zu identifizieren.
- $RobotActions
- Jede Aktion, die nicht in dieser Liste enthalten ist, führt zu einer 403 Forbidden response to robots-Meldung
- $EnableRobotCloakActions
- Setzen dieses Flags eliminiert jede verbotene Aktion (?action=values) von den Seitenverweisen, die an die Roboter gemeldet werden, was die Bandbreitenbelastung durch Roboter noch weiter reduzieren wird (PITS:00563).
$MetaRobots- see Die Layout-Variablen
Siehe auch
- Cookbook:Controlling WebRobots -
- http://robotstxt.org/
- http://sitemaps.org/
- https://support.google.com/webmasters/answer/96569?hl=de
- Wikipedia:Robots.txt Robots Exclusion Standard
- http://microformats.org/wiki/rel-nofollow, http://www.nonofollow.net/
- Category: Robots
Übersetzung von PmWiki.Robots, Originalseite auf PmWikiDe.Robots — Référencé par
| Zuletzt geändert: | PmWikiDe.Robots | am 23.12.2021 |
| PmWiki.Robots | am 23.12.2021 |