Google Spammy vs unaturlige links, 404'er med crawlbudget og mere SEO og PPC

Jeg har et websted, der normalt opretter et par tusinde sider om dagen, som ikke ændres, når de er oprettet. For nylig er min dedikerede server gået ned på grund af at googlebot gennemsøger siden for ofte. Ifølge søgekonsollen gennemgår googlebot mange dage webstedet titusinder af gange om dagen, hvilket indikerer, at de fortsætter med at gennemgå sider, de allerede har gennemgået. Jeg er opmærksom på, at jeg kan begrænse googlebot-gennemsøgningshastigheden, men er det muligt at tvinge googlebot til kun at gennemgå en side EN gang og EN gang?

  • Dette er normalt det modsatte af det, vi får anmodninger om ... Se John Muellers svar her.

Der er ingen måde at forhindre Googlebot i at gencrawle sider.

Googlebot gennemsøger sider igen i forhold til deres PageRank. Googlebot gennemgår sider, der er lige så populære som CNN-hjemmesiden en gang i timen. Sider dybt inde på dit websted uden eksterne links må kun crawles en gang om måneden.

Googlebot gennemsøger sider igen i forhold til hvor ofte den ser dem ændre sig. Hvis dine sider ændres hver gang Googlebot gennemsøger, begynder Googlebot at gennemgå dem oftere. Hvis de aldrig opkræver, fortsætter Googlebot med at kontrollere dem med jævne mellemrum.

Googlebot justerer sin gennemgangshastighed for dit websted baseret på den tid, siderne tager at downloade. Hvis dit websted leverer sider langsomt, gennemgår det mindre. Hvis dine sider downloades meget hurtigt, gennemgår Googlebot mere.

Google har en indstilling i den gamle Google Search Console, der giver dig mulighed for at justere Googlebot-gennemsøgningshastigheden for dit websted. Se https://support.google.com/webmasters/answer/48620?hl=da

Googlebot adlyder ikke robots.txt crawl-delay direktiv. Det er ikke muligt at indstille Googlebot-gennemsøgningshastigheden robots.txt.

Hvis dit websted går ned på grund af Googlebot-gennemgang, har du tre muligheder:

  1. Få en hurtigere server, eller opgrader til en klynge af servere bag en load balancer.
  2. Brug Google Search Console til at justere Googlebot-gennemsøgningshastigheden.
  3. Konfigurer din server til at reagere langsommere på Googlebot-anmodninger.

Du kan ikke kontrollere gennemsøgningshastigheden. Hvis du ofte sender indhold, vil Google gennemgå dit websted ofte, men Google kan automatisk justere sin gennemgangshastighed i henhold til dine serverressourcer, så du ikke har brug for ekstra indstilling, men du kan bruge indstillinger for CDN-tjenester og cacheudløb.

At levere et sitemap dagligt med lastmod-tag vil sandsynligvis begrænse gennemsøgningshastigheden, det er en af ​​de få måder, som du pålideligt kan fortælle Google, at dine sider (ikke) har brug for gennemgang. John Mueller tweet

arbejdet for dig: Charles Robertson | Ønsker du at kontakte os?