Styra Robotar

Det finns två olika sätt att styra vadsom sökmotorernas robotar hämtar. Man kan skapa en speciell fil, robots.txt, i rooten på webbplatsen, om man av någon anledning inte kan eller vill göra detta så går det att i koden lägga in sk META-taggar som styr robotarna.

Robots.txt

Alla ordentliga sökrobotar skall följa "the robot exclusion standard", denna reglerar hur man talar om för en robot vad den INTE skall hämta. En robots.txt fil består av ett antal excluderings block på formen:
user-agent: robotnamn
disallow: /sökväg

Om man till exempel inte vill att sökotorerna skall indexer bilder i katalogen /images kan man skapa en robots.txt med innehållet
user-agent: *
disallow: /images

Ref: A Standard for Robot Exclusion

META-taggar

Ett alternativ till robots.txt är att man placerar META-taggar inom HEAD på webbsidan. Vill man att robotar varken skall indexera innehållet på sidan eller följa några länkar lägger man in följande tag:
<meta name="robots" content="noindex,nofollow">
Ref: HTML Author's Guide to the Robots META tag

Senast uppdaterad: 2009-10-11