AreloBot är roboten som hämtar lediga lokaler från de webbplatser vi har överenskommelser med. Den presenterar sig med AreloBot/1.0 och en länk hit i sin user agent.
- Den följer robots.txt: reglerna för AreloBot om de finns, annars reglerna för alla robotar.
- Den väntar mellan anropen till samma webbplats och ger upp om ett svar dröjer.
- Den läser vanliga sidor och sajtkartor.
Vill ni stänga ute AreloBot skriver ni User-agent: AreloBot och Disallow: / i er robots.txt. Frågor om hämtningen når oss via kontaktsidan.