Robots.txt

Wij zijn jouw data gedreven marketing en retail media bureau.

De robots.txt is een text bestand met informatie voor bots / crawlers zoals Google of Bing waarin je aangeeft welke bestanden of mappen juist wel of niet gecrawld (of bekeken) mogen worden.

Een voorbeeld vind je op: http://nakoa.digital/robots.txt

Daarnaast kun je aangeven waar je de sitemap hebt geüpload zodat zoekmachines deze sneller vinden, vooral als deze niet op de standaard locatie domein.com/sitemap.xml is opgeslagen.

Met Disallow: en dan een map naam in de robots.txt kun je toegang voor een bot blokkeren. Met Allow: kun je aangeven dat júist die map bekeken moet worden.

Met de code Disallow: /admin kun je bijvoorbeeld de map /admin, als je daar kunt inloggen op je website, blokkeren voor de bots.