Sitemap Generator: Gratis softwareprogram til at oprette HTML- eller tekst-sitemaps

Så jeg har fået til opgave at se på vores SEO (et område, jeg har noget, men ikke enestående kompetence i), og det første, jeg bemærkede, er, at vores robots.txt-fil siger følgende:

# go away User-agent: * Disallow: / 

Nu er jeg ret kompetent til at læse computer, og så vidt jeg kan fortælle, siger dette, at ALLE edderkopper ikke skal se på NOE i rodmappen eller derunder.

Læser jeg dette korrekt? Fordi det bare virker sindssygt.

Måske ville nogen ikke betale for edderkoppetrafik?

Uanset hvad læser du det korrekt:

http://www.robotstxt.org/robotstxt.html

Webstedejere bruger filen /robots.txt til at give instruktioner om deres websted til webrobotter; dette kaldes The Robots Exclusion Protocol. Det fungerer sådan her: en robot ønsker at besøge en webadresse, siger http://www.example.com/welcome.html. Før det gør det, kontrollerer den først efter http://www.example.com/robots.txt og finder:

 User-agent: * Disallow: / 

Det 'User-agent: *' betyder dette afsnit gælder for alle robotter. Det 'Disallow: /' fortæller robotten, at den ikke skal besøge nogen sider på webstedet.

Jeg har sat denne slags robots.txt på plads, da jeg først udviklede et websted, fordi jeg ikke ønsker, at det skal indekseres af Google og andre, før det er klar.

Jeg har også glemt at redigere det, efter at siden er gået live. * facepalm *

  • Problemet med dette er, at dette er et websted for et webdesignfirma med flere millioner dollars med over 35 ansatte, som har eksisteret i over 15 år!
  • Umm, choker, ROFL

arbejdet for dig: Charles Robertson | Ønsker du at kontakte os?