Wat is een sitemapvalidator? En hoe kun je er foutmeldingen mee oplossen?

Door een XML-sitemap in te dienen, kunnen zoekmachines een volledig overzicht krijgen van elke webpagina die je wil laten indexeren. Daarom is het een essentiële stap in je zoekmachineoptimalisatie strategie. Voor de best mogelijke resultaten moet je echter wel een sitemapvalidator gebruiken om ervoor te zorgen dat je geen bestanden met fouten verzendt.

In dit artikel gaan we het hebben over wat sitemapvalidators zijn en hoe ze werken. Vervolgens zullen we veelvoorkomende fouten behandelen die je kan tegenkomen bij het gebruik van een sitemapvalidator.

Wat is een sitemapvalidator?

Een sitemap is een bestand dat een lijst bevat van elke URL op je website die door zoekmachines moet worden geïndexeerd. Sitemaps zijn beschikbaar in XML- of HTML-indeling, waarbij XML meest populaire optie is.

Technisch gezien hoef je geen sitemap van je website in te dienen bij Google of andere zoekmachines. Deze platforms gebruiken crawlers om door sites te navigeren, elke URL te identificeren en die pagina’s te indexeren.

Waarom het toch handig is om zelf een sitemap in te dienen? Het maken van een sitemap geeft je controle over welke URL’s de zoekmachines indexeren en welke niet (zoals bijvoorbeeld verborgen URL’s of overbodige webpagina’s).

In de meeste gevallen maak je gebruik van automatisch gegenereerde sitemaps. Als je WordPress gebruikt, kunnen SEO-plug-ins zoals Yoast helpen bij het maken van sitemaps die je kan indienen bij Google Search Console.

Door in je WP-Dashboard naar Yoast > Algemeen > Functies te navigeren kun je zien of de XML-sitemaps instelling op ‘Aan’ staat.

Een sitemapvalidator is een tool die XML-bestanden kan verwerken. Hierbij zorgt de sitemapvalidator ervoor dat deze bestanden geen errors bevatten. Het gaat dan om de volgende soorten foutmeldingen:

• Pagina’s die zoekmachines niet kunnen crawlen
• 404 errors
• 401 errors
• Te veel URL’s in de sitemap
• Niet-canonieke URL’s

Indien jouw sitemap dit soort foutmeldingen heeft, kan het zo zijn dat zoekmachines jouw website niet (volledig) kunnen indexeren.

Het handmatig lezen van XML-bestanden om problemen te vinden is een moeizaam proces. Daarnaast moet je ook nog URL’s gaan testen. Gelukkig kun je met sitemapvalidators al dat werk overslaan en beginnen met het oplossen van foutmeldingen die ze identificeren.

Hoe gebruik je een sitemapvalidator?

Het gebruik van een sitemapvalidator is eenvoudig. Afhankelijk van de tool die je gebruikt, moet je mogelijk een XML-bestand uploaden of een URL naar de sitemap van jouw website opgeven. Dit kan van toepassing zijn als je een tool zoals XML Sitemap Validator gebruikt.

Je vult simpelweg de URL in van de sitemap die je wilt controleren, en deze online tool geeft je dan een rapport met alle mogelijke foutmeldingen.

Indien er (zoals in het voorbeeld hierboven) geen foutmeldingen worden gevonden, betekent dit dat zoekmachines de URL’s in je sitemap kunnen indexeren. Een sitemap zonder foutmeldingen kan je dus gerust indienen aan een zoekmachine zoals Google.

Vijf veelvoorkomende sitemap errors (en hoe je ze oplost)

Het komt echter ook voor dat een sitemapvalidator in een XML-sitemap een foutmelding vindt. Hieronder behandel ik de vijf meest voorkomende foutmeldingen en hoe je deze oplost.

Pagina’s met crawlproblemen

Crawlproblemen behoren tot de meest voorkomende problemen die sitemapvalidators zullen aangeven. Zo’n crawlfout betekent dat de service een van de pagina’s in je sitemap niet kan crawlen.

Crawlen is het doorzoeken van een webpagina door middel van zoekmachinesoftware ook “bots”. Deze crawl-bots verkennen de webpagina’s om de inhoud ervan te indexeren.

Als de sitemapvalidator of zoekmachine een pagina niet kan crawlen, betekent dit over het algemeen een van de volgende scenario’s:

• Het laden van de pagina duurt te lang. Als het laden een pagina te lang duurt, stopt de crawler met crawlen (zeg dat maar eens 10x achterelkaar). Dit betekent dat sommige pagina’s mogelijk niet worden geïndexeerd.
• Je website gebruikt te veel redirects. Wanneer een reeks redirects niet correct zijn ingesteld, kan dit ervoor zorgen dat bots je site niet kunnen crawlen.
• De website blokkeert zoekmachinebots. Je kan je WordPress website instellen om crawlers te blokkeren (met behulp van noindex-tags) zodat je site niet wordt geïndexeerd. Meestal stel je deze tags in tijdens het bouwen van je website of het maken van pagina’s die niet moeten worden geïndexeerd.
• Pagina’s hebben een andere foutcode dan de 404 of 401. Sitemapvalidators kunnen 404-fouten omzeilen. Andere HTTP-foutcodes resulteren echter wel in een crawlprobleem.

Om een crawlprobleem op te lossen bezoek je de betreffende URL. Indien de pagina snel laad kan het crawlprobleem zijn ontstaan omdat je website mogelijk zoekmachinebots blokkeert. Zo niet, dan is het wijs je betreffende pagina’s te versnellen.

Door in je WP-Dashboard te navigeren naar Instellingen > Lezen kun je kijken of je de instelling hebt aanstaan dat crawlen blokkeert. Zorg ervoor dat het vakje niet is aangevinkt als je wil dat zoekmachines je site kunnen indexeren.

404 foutmeldingen

Als de sitemapvalidator een 404 error aantreft in je sitemap kun je deze gemakkelijk oplossen.

Als een pagina niet meer bestaat, kun je die pagina handmatig uit de sitemap verwijderen of er een redirect voor instellen. Indien de pagina geen verkeer heeft kan je deze verwijderen. Als de pagina echter wel nog steeds verkeer heeft kun je beter een redirect instellen.

Met website-analyse tools zoals Google Search Console en andere tools kun je achterhalen of een 404-pagina nog steeds bezoekers ontvangt. In dat scenario kun je het beste een omleiding instellen naar een relevante pagina of post, zodat je dat verkeer niet misloopt. Zolang je maar één omleiding gebruikt, resulteert dit niet in een sitemap-validatiefout.

401 melding

Een 401 melding in een sitemap betekent dat crawlers geen toegang hebben tot een specifieke pagina omdat ze niet over de benodigde rechten beschikken. Deze fout verschijnt meestal wanneer je te maken hebt met een pagina waarvoor gebruikers moeten inloggen.

Pagina’s die zijn afgeschermd voor niet ingelogde gebruikers moeten niet worden geïndexeerd. Om van deze sitemap foutmelding op te lossen moet je de afgeschermde pagina’s verwijderen uit je sitemap.

Als je dit niet doet kunnen bezoekers via zoekmachines terechtkomen op de pagina’s die een 401 melding weergeven.

Teveel URL’s in je sitemap

Zoekmachines kunnen enorme websites indexeren met wel duizenden pagina’s. Hier zit echter wel een limiet aan. Sitemap foutmeldingen kunnen ontstaan indien je een sitemap indient met meer dan 50.000 pagina’s.

Als je een website hebt met meer dan 50.000 pagina’s ben je (waarschijnlijk met je team) druk bezig geweest. Websites met zoveel pagina’s moeten nadenken over de hiërarchie van hun pagina’s.

Zorg ervoor dat de belangrijkste pagina’s zijn opgenomen in de sitemap. Schrap alle pagina’s die niet geïndexeerd moeten worden, en voeg daarna de minder belangrijke pagina’s toe tot je bij dit limiet van 50.000 pagina’s komt.

Dit is trouwens niet een exact limiet. Maar rond die 50.000 beginnen zoekmachinebots problemen te ondervinden. Je wil dus prioriteit geven aan de belangrijkste pagina’s van je website en tegelijkertijd sitemapitems verwijderen die bezoekers niet in de SERP (Search Engine Results Page) hoeven te zien.

Non-canonical URL’s in je sitemap

Soms heb je meerdere versies van een URL voor dezelfde pagina:

• https://www.wplounge.nl
• https://www.wplounge.nl
• https://www.wplounge.nl
• https://www.wplounge.nl

Zoekmachines kunnen in de war raken als al deze versies zijn opgenomen in je sitemap. Dit kan dan leiden tot validatiefouten.

De makkelijkste manier om dit soort fouten op te lossen is door een canonical URL toe te wijzen voor je WordPress website. De meeste SEO-plugins (zoals Yoast) wijzen automatisch canonical URL’s toe aan je website.

Indien je een SEO plugin gebruikt op je website zal je deze error daarom niet tegenkomen.

Conclusie: sitemapvalidator

Je website wordt met de tijd groter en groter. Hoe groter je website groeit, des te belangrijker een sitemap is. Met een sitemap kun je zoekmachines vertellen welke pagina’s geïndexeerd moeten worden, en welke ze moeten negeren.

Daarnaast helpt een sitemapvalidator met het opsporen van fouten. Zo zullen crawlers (zoekmachine bots) niet tegen problemen aanlopen bij het indexeren van je website.

Beoordeel dit artikel