OdoBan-tøjvask: Sådan bruges OdoBan i vaskemaskine [Bedste alternativ til skyllemiddel]

Jeg har et lille websted, som den aktuelle robots.txt ser sådan ud:

User-agent: * Disallow: Sitemap: https://www.myawesomesite.com/sitemap.xml 

Nu vil jeg tilføje en anden regel som sådan (med det formål at afvise SomeStupidBot for at gennemgå min hjemmeside):

User-agent: SomeStupidBot Disallow: / Sitemap: https://www.myawesomesite.com/sitemap.xml 

Jeg er usikker på, hvordan jeg kombinerer ovenstående to rules ind i en robots.txt.

  • Hvis en bot er virkelig dum, kan du ikke blokere den via robots.txt, du skal kontrollere dine webstedslogfiler og baseret på IP-adresse + brugeragent skal du blokere den på htaccess. Men de fleste af bots ærer din robots.txt, og de har muligvis også docs-sider for at vide, hvordan du blokerer den.

For at kombinere dem skal du blot tilføje den anden regelblok (gruppe) til filen med et linjeafstand som sådan:

User-agent: * Disallow: User-agent: SomeStupidBot Disallow: / Sitemap: https://www.myawesomesite.com/sitemap.xml 

Ordren betyder ikke noget (den mest specifikke - baseret på længde - vinder). Kun en blok behandles af bot.

Bemærk, at Sitemap direktivet er ikke en del af gruppen. Det er et uafhængigt direktiv, der ofte vises i slutningen af ​​filen (selvom placeringen ikke rigtig betyder noget).

Som @MEGA allerede har sagt, er den første gruppe overflødig i dette tilfælde. Det er dog op til dig, om du holder det (der vil normalt være noget du ikke ønsker, at andre bots skal kravle).

Som standard har alle bots lov til at gennemgå alle dele af dit websted med eller uden den første kode, du har angivet.
Så for at afvise en bot skal du blot tilføje den anden kode:

User-agent: SomeStupidBot Disallow: / 

og fjern:

User-agent: * Disallow: 

Jeg er ikke ekspert i robots.txt, men efter min forståelse er det sådan, det er gjort.

  • 1 Dette fungerer, men jeg vil anbefale at holde begge sæt regler. På den måde kan du nemt tilføje tilladelsesregler for alle bots.

arbejdet for dig: Charles Robertson | Ønsker du at kontakte os?