På sideoptimeringsvejledning del - 1 | På sideoptimeringsteknikker | Teknisk seo | Fra side

User-agent: * Allow: /sitemapindex.xml Allow: /post_google_news.xml Allow: /news/ Allow: /category/news/ Disallow: / 

Jeg vil udelukke alt fra at blive indekseret af Google undtagen example.com/sitemapindex.xml, example.com/post_google_news.xml, example.com/news/anything og example.com/category/news/anything/anything etc.

  • 1 Hvis du vil teste en bestemt robots.txt-fil, skal du sandsynligvis bare bruge Googles værktøj til at gøre det: support.google.com/webmasters/answer/6062598?hl=da
  • 1 Du skal også vide, at robots.txt ikke kan forhindre indeksering, det forhindrer kun gennemsøgning. Google vælger undertiden at indeksere sider, selvom Googlebot ikke kan gennemgå dem. Se Hvorfor inkluderer Googles søgeresultater sider, der ikke er tilladt i robots.txt?

Ja, denne robots.txt-fil fungerer. Den eneste kommentar her er din /news/ og /category/news/ ser ud til at de kan være to forskellige filstier til det samme indhold? I så fald antager jeg, at du allerede har valgt dine kanoniske URL'er og ikke-indekseret noget, der ikke skulle vises i søgeresultaterne ved hjælp af metatags; i så fald er du velkommen til kun at medtage den filsti, du vil have vist i SERP'erne, og tag den anden ud.

arbejdet for dig: Charles Robertson | Ønsker du at kontakte os?