Leestijd 2 minuten
Ineens werden we afgelopen dagen overspoeld door mailtjes vanuit Google Webmaster Tools; Googlebot kan geen toegang krijgen tot CSS- en JS-bestanden. Er worden dus bestanden geblokkeerd, wat optimale indexatie kan voorkomen.
Waarom krijg je bericht van Google Bot?
Echt uit de lucht vallen komt het niet. Immers, Google geeft al jaren aan dat de genoemde bestanden niet geblokkeerd mogen worden. Het staat zelfs in de webmaster guidelines. Nu doet Google er ook echt actief iets aan.
Google heeft webmasters via Google Webmaster Tools (nu Google Search Console) op de hoogte gesteld over geblokkeerde CSS- en Javascript-bestanden. In het bestand robots.txt kunnen deze bestanden worden geblokkeerd zodat Google deze niet kan indexeren.
Google zal je niet meteen straffen met een lagere ranking. Google kan echter de inhoud van de CSS- en Javascript-bestanden niet meenemen in de beoordeling van de website. Het blokkeren hiervan is een signaal naar Google toe, dat er mogelijk iets staat dat Google liever niet heeft.
Het blokkeren van CSS zorgt er bijvoorbeeld voor dat Google niet kan zien of een website responsive is. Het gevolg hiervan is dat de website niet kan worden aangemerkt als een mobiel geschikte website. Dat kan wel negatieve gevolgen voor de ranking van de site hebben.
Wat doe je er aan?
Als je de melding van Google Bot hebt ontvangen is het aan te raden om het probleem op te lossen. In feite wordt in de melding al goed aangegeven hoe je het probleem oplost.
1) Eerst moeten de geblokkeerde bronnen geïdentificeerd worden. Dit kan worden gedaan in de Google Webmaster Tools met de functie ‘Fetchen als Google’. Als dat is gedaan is duidelijk welke bronnen moeten worden toegestaan om door Google te indexeren.
2) Daarna moet het robots.txt bestand worden ge-update. Hiervoor moeten de bronnen die bij de eerste stap naar boven kwamen uit het bestand worden gehaald. In de meeste gevallen gaat het om één tot drie mappen. Bij WordPress websites zijn dit onder meer /wp-includes en /module.
3) Vervolgens kun je het robots.txt bestand testen met de robots.txt-testtool en daarna opnieuw de functie ‘Fetchen als Google’ gebruiken om de oplossing te valideren. Om te checken of uw website ook voor mobiel goed wordt weergegeven moet de optie ‘Mobiel: smartphone’ geselecteerd zijn.
Daarnaast kan je je robots.txt bestand aanpassen om CSS- en Javascript-bestanden toe te staan. Dit doe je via onderstaande regels:
User-Agent: Googlebot
Allow: .js
Allow: .css
Als je de melding hebt ontvangen dan is het raadzaam het probleem zo snel mogelijk op te lossen om een lagere ranking te voorkomen. Heb je vragen hierover? Wij helpen je graag. Neem snel contact met ons op, want de koffie staat al klaar!
Misschien vind je dit ook interessant:
• Google wijzigt ondersteuning voor noindex robots.txt
• Google beloont goede kwaliteit echt
