Kommentar s'occuper de la filtration de ta piscine coque?

Min Heroku (Bambus) -app har fået en masse hits fra en skraber, der identificerer sig selv som GSLFBot. Googling efter det navn giver forskellige resultater af mennesker, der har konkluderet, at det ikke respekterer robots.txt (f.eks. Http://www.0sw.com/archives/96).

Jeg overvejer at opdatere min app for at have en liste over forbudte brugeragenter og servere alle anmodninger fra disse brugeragenter en 400 eller lignende og tilføje GSLFBot til denne liste. Er det en effektiv teknik, og hvis ikke hvad skal jeg gøre i stedet?

(Som en sidebemærkning virker det underligt at have en voldelig skraber med en markant brugeragent.)

  • 2 Det eneste, der skal til for at omgå din begrænsning, er en ændring i brugeragentstrengen i bot.
  • Sandt nok, men på den anden side kan det fortolkes som en grad af dovenskab eller i det mindste uinteresse fra dem, der skabte skraberen. Der er ingen ideel mulighed her, men hvis bruger-agentstrengen er det vigtigste tilgængelige stykke information, er det det, der skal bruges i det mindste for øjeblikket.
  • Jeg ved, at der er mindst et spørgsmål mere, der beskæftiger sig med dette med et kodeeksempel. Jeg skal bare finde det.
  • @JohnConde Jeg kan se, at spørgsmålene har de samme temaer, men duplikatspørgsmålet giver næppe et kanonisk svar på dette - vi kan helt sikkert og bør gøre det bedre, dette er et stort problem for nogle webmastere.
  • De ser ud til at stille det samme spørgsmål til mig. Hvis det andet spørgsmål ikke har et godt svar, er vi nødt til at tilføje et til det (forudsat at nogen kan). Men at holde denne åben opnår ikke noget og placerer informationen to forskellige steder, hvilket er det, StackExchange ikke ønsker.

Perisable presse har et godt løb med at beskæftige sig med indholdsskrabere, ligesom Chris Coyer hos CSS Tricks. Den generelle opfattelse er at gøre noget og drage fordel af det, hvor du kan. Resumé af gode råd fra letfordærvelige presse nedenfor ...

Sådan håndteres indholdsskrabere

Så hvad er den bedste strategi til at håndtere indholdsskrabende scumbags? Min personlige tretrinnede strategi inkluderer følgende handlingsniveauer:

  • Gøre ingenting.
  • Inkluder altid mange interne links
  • Stop dem med et velplaceret stykke htaccess

Dette er de værktøjer, jeg bruger, når jeg beskæftiger mig med indholdsskrabere. For større websteder som DigWP.com er jeg enig med Chris i, at der ikke kræves nogen handling. Så længe du aktivt inkluderer masser af interne links i dine indlæg, er skrabet indhold lig med links tilbage til dine sider. At få et link i en artikel i Smashing Magazine giver f.eks. Øjeblikkeligt hundredvis af linkbacks takket være alle tyve og igler, der stjæler Smashing Mags indhold. At sprøjte et par interne links gennem dine indlæg gavner dig på nogle fantastiske måder:

  • Giver links tilbage til dit websted fra stjålet / skrabet indhold
  • Hjælper dine læsere med at finde nye og relaterede sider / indhold på dit websted
  • Gør det let for søgemaskiner at kravle dybt ind på dit websted

Så gør ingenting, hvis du har råd til ikke at bekymre dig om det; Ellers har du for vane at tilføje masser af interne links for at drage fordel af den gratis linkjuice. Denne strategi fungerer godt, medmindre du begynder at blive skrabet af nogle af de mere uhyggelige websteder. I hvilket tilfælde ..

Staknetværket er indholdsskraberby, så det ville være interessant at høre råd fra nogle af administratorerne på højt niveau om dette emne ...

  • skrabede backlinks er værdiløse

arbejdet for dig: Charles Robertson | Ønsker du at kontakte os?