wsmstbot.html
Der WSMST-Suchroboter
Der WSMST-Suchroboter übernimmt die Aufgabe, neu aufgenommene Links in die Suchbasis aufzunehmen sowie ggfs bei Link-Löschungen wieder rückgängig zu machen. Darüberhinaus besucht er regelmässig die verlinkten Seiten und arbeitet Änderungen in die Suchbasis ein ohne die besuchten Server über Gebühr zu belasten.
Vorgehensweise des WSMST-Roboters
Der WSMST Suchroboter besucht nur solche WEB-Seiten, die über die WSMST
Lesezeichenfunktion manuell verlinkt wurden und
verfolgt auch keine einzige der dort eingetragenen Folge-Links.
Falls doch einmal eine Folgeseite vom WSMST-Suchroboter erfasst wird, dann kann dies nur
durch einen über WSMST manuell eingefügten zusätzlichen Link ausgelöst worden sein.
Ein echtes Spidering findet daher nicht statt.
Dies hat zwar offensichtliche Nachteile, da externe Webseiten, die nicht verlinkt sind aber thematisch zur Suche
passen würden, nicht gefunden werden. Andererseits ist durch die Beschränkung auf einen sorgfältig erstellten
Pool von Links die Gefahr von Fehltreffern in den Suchergebnissen geringer als bei einem ungezügelten Spidering.
WSMST berücksichtigt die für Suchmaschinen relevanten META - Angaben.
So wird z.B. durch eine Angabe "Revisit-After: 30 Days" im externen Link dies
als Aufforderung verstanden, erst nach 30 Tagen die Seite wieder zu besuchen um Änderungen
zu erfassen.
Sperren von Seiten für die Suche
Es gibt mehrere Möglichkeiten, um den WSMST-Suchroboter an der Indexierung einer Webseite zu hindern :
- Die externe Webseite enthält das NOINDEX-Attribut.
- Es existiert für die Domain eine robots.txt-Datei, in der Suchmaschinen entweder generell ausgeschlossen oder definierte Bereiche der Domain gesperrt sind.
- Sie können explizit auch den WSMST-Roboter von der Indexierung der Seite ausschliessen.
Dazu genügt es, wenn Sie folgenden Eintrag in der robots.txt hinterlegen :
User-Agent: wsmstbot
Disallow: /