HTML Meta Tag für Robots
Durch das Meta Tag “Robots” kann das Verhalten von Suchmaschinenbots auf der Webseite gesteuert werden. Die Werte sind kombinierbar (maximal 2 durch Komma getrennt).
In diesem Beispiel darf der Bot die aktuelle Webseite indexieren und den weiteren Links folgen:
<meta name="robots" content="index,follow" />
Folgende Werte können eingesetzt werden:
index
Die aktuelle Seite soll indexiert werden
noindex
Die aktuelle Seite soll nicht im indexiert werden
follow
Der Bot soll den Links folgen
nofollow
Der Bot soll keinen Links folgen
all
Seite indexieren und Links folgen (index,follow)
none
Seite nicht indexieren und keinen Links folgen (noindex,nofollow)



