De Code

Een robots.txt-bestand is een tekstbestand dat op de server van je website staat en richtlijnen geeft aan zoekmachinecrawlers en andere bots over welke pagina's ze wel of niet mogen bezoeken. Dit helpt bij het beheren van je site-indexering en het beschermen van gevoelige of overbodige inhoud tegen ongewenste crawlers.

# Block specific bots
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: domaincrawler.com
Disallow: /
User-agent: spbot
Disallow: /
User-agent: YandexBot
Disallow: /
User-agent: Baiduspider
Disallow: /

Hoe te gebruiken

Bekijk de video hieronder en volg stap voor stap de instructies. We laten je precies zien hoe je het moet doen, zodat je zonder gedoe aan de slag kunt.

‍