Gemakkelijker robots.txt testen dankzij een update aan de test-tool

robot.txt

To crawl or not to crawl. Heb je een grote website of webshop, dan kan het maken van een correcte robots.txt file behoorlijk moeilijk zijn. De kleinste fout kan ervoor zorgen dat bepaalde delen van je website of zelfs je volledige website niet worden opgenomen in de index van Google, en dat wil je natuurlijk koste wat het kost vermijden. Onlangs heeft Google een update uitgebracht aan zijn robots.txt tester tool, die het makkelijker moet maken om te achterhalen waarom een bepaalde URL precies geblokkeerd wordt.

robots txt tester tool

De robots.txt tester tool

Ben je nog niet bekend met de robots.txt tester tool? Dan moet je daar dringend verandering in brengen! Het is een eenvoudige tool, die je in Webmaster Tools vindt onder de sectie ‘Crawlen’. De tool stelt je in staat om je robots.txt te testen en te controleren op fouten. Merk je dat een bepaalde pagina van je website niet scoort in Google of weinig bezoekers trekt, dan kan je via de tool testen of de URL geblokkeerd wordt door je robots.txt file. Is dat het geval, dan duidt de tool dankzij de update vanaf nu ook aan waar het probleem zich precies voordoet. Bovendien kan je meteen in de tool aanpassingen maken en opnieuw testen of dat het probleem oplost, al mag je dan natuurlijk niet vergeten om de aangepaste versie van je robots.txt bestand ook te uploaden naar je website.

robots txt tester tool update

Hoe gebruik je de tool het best?

Elke URL apart testen via de tool is niet bepaald efficiënt. Wij raden je dan ook aan om de tool te gebruiken in combinatie met andere tools, bijvoorbeeld in combinatie met Google Analytics en de ‘Fetch as Google’ tool in Webmaster Tools. Merk je in Google Analytics dat bepaalde pagina’s slechter scoren dan gemiddeld of dat bepaalde belangrijke pagina’s geen organisch verkeer krijgen? Steek die URL’s dan in de Fetch as Google tool. Komen daar bepaalde geblokkeerde URL’s uit, dan kan je die vervolgens testen met de robots.txt tester. Daarnaast doe je er goed aan om regelmatig belangrijke pagina’s van je website te testen via de tool.

Executive Summary

Een update aan de robots.txt tester in Google Webmaster tools maakt het testen van je URL’s nog eenvoudiger. Maak er gebruik van om meteen de belangrijkste pagina’s van je website te testen!

Leave A Comment




    Leave a Reply

    Your email address will not be published. Required fields are marked *