Wat is Robots txt?

Robots.txt is een bestand in de hoofdmap van je website. Zoekmachine crawler (robots) gebruiken het om erachter te komen welke onderdelen van je website ze mogen doorzoeken. 

Hier is een voorbeeld van een robots-bestand:

 

Je kan altijd zelf kijken of er een robots.txt op je website aanwezig is door je eigen website in te toetsen in de zoek bar en er /robots.txt achter te zetten. Ook kan je in Google Search Console testen of de juiste instructies wordt gegeven net de robots. Dit is belangrijk want het verkeerd gebruiken van de robots.txt kan ervoor zorgen dat je lager in de zoekmachine staat. 

 

Waarom?

Door het robots bestand weten de zoekmachine robots, welke onderdelen van je website ze wel en niet mogen onderzoeken. Je kan hierdoor bijvoorbeeld de beheerdersomgeving uitsluiten. 

 

Hoe werkt robots.txt?

Je kan het robots.txt bestand inrichten door met de juiste instructies volgens de  Robots Exclusion Standard. Met de volgende instructie, weten de robots dat ze de gehele site mogen doorzoeken. 

User-agent: *

Allow: /

In de afbeelding zie je het robots bestand dat wij gebruiken voor https://www.socialelephant.nl. Met ‘’User-Agent’’ geven we aan dat alle robots de hele site vanaf de root, aangeven met  “Allow: /”, mogen crawlen. Daarnaast verwijzen we ook naar de sitemaps door “Sitemap:” Daardoor zijn onze sitemaps een stuk makkelijker vindbaar voor de zoekmachine. 

Er zijn drie misvattingen wanneer mensen met het robots bestand aan de gang gaan:

  1. Iedereen kan bij jouw robots bestand. Zorg er dus voor dat geen persoonlijke of geheime informatie opstaat. 
  2. Het is niet verplicht om het te gebruiken. Je kan het gebruiken als het een voordelig effect heeft. Maar ga er alsjeblieft niet mee aan de gang als je er geen verstand van hebt. 
  3. Externe links. Wanneer andere websites naar delen van je website verwijzen die je met robots hebt uitgesloten.

Kennis delen is vermenigvuldigen

Kennis delen is vermenigvuldigen. In ons gratis E-book lees je precies hoe je in 3 stappen online resultaat kunt halen. Zo kun je zelf aan de slag en weet je hoe je jouw online groei aan kunt pakken. Jij wilt toch ook online groeien?

PDF Downloaden