Deutsch   Englisch

wsmstbot.html

Der WSMST-Suchroboter

Der WSMST-Suchroboter übernimmt die Aufgabe, neu aufgenommene Links in die Suchbasis aufzunehmen sowie ggfs bei Link-Löschungen wieder rückgängig zu machen. Darüberhinaus besucht er regelmässig die verlinkten Seiten und arbeitet Änderungen in die Suchbasis ein ohne die besuchten Server über Gebühr zu belasten.

Vorgehensweise des WSMST-Roboters

Der WSMST Suchroboter besucht nur solche WEB-Seiten, die über die WSMST Lesezeichenfunktion manuell verlinkt wurden und verfolgt auch keine einzige der dort eingetragenen Folge-Links. Falls doch einmal eine Folgeseite vom WSMST-Suchroboter erfasst wird, dann kann dies nur durch einen über WSMST manuell eingefügten zusätzlichen Link ausgelöst worden sein.
Ein echtes Spidering findet daher nicht statt. Dies hat zwar offensichtliche Nachteile, da externe Webseiten, die nicht verlinkt sind aber thematisch zur Suche passen würden, nicht gefunden werden. Andererseits ist durch die Beschränkung auf einen sorgfältig erstellten Pool von Links die Gefahr von Fehltreffern in den Suchergebnissen geringer als bei einem ungezügelten Spidering.

WSMST berücksichtigt die für Suchmaschinen relevanten META - Angaben. So wird z.B. durch eine Angabe "Revisit-After: 30 Days" im externen Link dies als Aufforderung verstanden, erst nach 30 Tagen die Seite wieder zu besuchen um Änderungen zu erfassen.
 

Sperren von Seiten für die Suche

Es gibt mehrere Möglichkeiten, um den WSMST-Suchroboter an der Indexierung einer Webseite zu hindern :

  • Die externe Webseite enthält das NOINDEX-Attribut.
  • Es existiert für die Domain eine robots.txt-Datei, in der Suchmaschinen entweder generell ausgeschlossen oder definierte Bereiche der Domain gesperrt sind.
  • Sie können explizit auch den WSMST-Roboter von der Indexierung der Seite ausschliessen.
    Dazu genügt es, wenn Sie folgenden Eintrag in der robots.txt hinterlegen :

       User-Agent:   wsmstbot
       Disallow:     /

Eine deutschsprachige Anleitung zur robots.txt Syntax finden Sie u.a. bei SELFHTML

Ordner: /search/wsmstbot/