Definition
Crawling er den proces, hvor en søgemaskines bot – eksempelvis Googlebot – automatisk gennemgår internettets sider ved at hente deres indhold via URL’er. Google opdager nye eller ændrede sider gennem links, tidligere crawling eller via et opdateret sitemap, og prioriterer derefter algoritmisk, hvilke URL’er der skal crawles, hvor ofte og i hvilket omfang. Crawling adskiller sig fra indeksering, idet selve indekset først opdateres efter, at en side er crawlet og vurderet.
Hvorfor det er vigtigt for SEO
Crawling er forudsætningen for, at Google overhovedet kan se og analysere dit websites indhold – uden crawling vil dine sider sjældent optræde i søgeresultaterne. Korrekt opsætning sikrer, at vigtige undersider og ressourcer ikke blokeres utilsigtet, og at Googlebot kan navigere hele sitet. Det er centralt i teknisk SEO at gøre alle relevante sider let tilgængelige for crawlere, da manglende crawlbarhed kan føre til store tab af organisk synlighed.
Sådan bruger du det i praksis
Sørg for, at alle væsentlige sider er tilgængelige via interne HTML-links og inkluderet i et opdateret sitemap; på større eller ofte ændrede sites skal du desuden håndtere crawlbudget og undgå ressourcekrævende fejlkilder som dubletter eller lange redirect-kæder. Kontrollér løbende din indekseringsstatus og robots.txt for at undgå, at vigtige sider eller scripts blokeres. Undlad at bruge robots.txt til at styre indeksering; brug i stedet meta noindex eller adgangsbegrænsning, hvis du vil undgå visning i søgeresultaterne.
Typiske fejl
- Vigtige sider eller ressourcer blokeres ved en fejl i robots.txt.
- Dubletter eller irrelevante URL-varianter fylder crawlbudgettet unødigt.
- Vigtige undersider er kun tilgængelige via JavaScript eller uden crawlbare links.
Relaterede begreber: Indeksering, crawlbudget, URL-opdagelse.
Ofte stillede spørgsmål
Hvad betyder crawling i SEO?
Crawling er søgemaskinens automatiske gennemgang og hentning af websider, så de kan analyseres og potentielt vises i søgeresultaterne.
Hvad er forskellen på crawling og indeksering?
Crawling handler om at hente indholdet fra en side, mens indeksering er den efterfølgende vurdering og lagring af siden i søgemaskinens indeks.
Hvad er en crawler, og hvad laver den?
En crawler (eller bot) er et program, der automatisk besøger websider, følger links og henter indhold for søgemaskiner som Google.
Hvad betyder crawl budget?
Crawlbudget er det antal sider og ressourcer, som Google vælger at crawle på et site inden for en given periode; det er især vigtigt for meget store eller ofte opdaterede websites.
