##############################################
#
# Welcome!
#
##############################################
# Please crawl our files.
# We appreciate if you can crawl responsibly.
# Stay open!
##############################################
User-agent: *
Disallow: /cms/
Disallow: /core/
Disallow: /smarty/
Disallow: 400.html
Disallow: 401.html
Disallow: 403.html
Disallow: 404.html
Disallow: 500.html
Disallow: pricerunner.xml
Disallow: kelkoo.xml
Disallow: prisjakt.csv
Disallow: shopmania.csv

User-Agent: OmniExplorer_Bot
Disallow: /

Sitemap: http://www.svenskatermoinstrument.se/sitemap_index.xml
Crawl-delay: 10