# robots.txt fil for sarah # for å nekte besøk på alt: Disallow: / # wildcards i filbaner er ikke tillatt # se på http://info.webcrawler.com/mak/projects/robots/robots.html # eller http://www.robotstxt.org/wc/norobots.html # og http://www.w3.org/TR/html40/appendix/notes.html#h-B.4 # i sidene # er alternativet hvis man ikke får tilgang på site-rot # og ihvertfall i google kan man utelukke en # link med 'rel="nofollow"' inne i a-tagen User-agent: * Disallow: /