De robots.txt is een text bestand met informatie voor bots / crawlers zoals Google of Bing waarin je aangeeft welke bestanden of mappen juist wel of niet gecrawld (of bekeken) mogen worden.
Een voorbeeld vind je op: http://nakoa.digital/robots.txt
Daarnaast kun je aangeven waar je de sitemap hebt geüpload zodat zoekmachines deze sneller vinden, vooral als deze niet op de standaard locatie domein.com/sitemap.xml is opgeslagen.
Met Disallow: en dan een map naam in de robots.txt kun je toegang voor een bot blokkeren. Met Allow: kun je aangeven dat júist die map bekeken moet worden.
Met de code Disallow: /admin kun je bijvoorbeeld de map /admin, als je daar kunt inloggen op je website, blokkeren voor de bots.