NIACIN FLUSH !!!! Skynder du dig i nødstilfælde for at få hjælp?

Mange eksempler på robots.txt ser ud til at indeholde Crawl-Delay for Yahoo Slurp i op til 2 timer, er det fordi Yahoo Slurp har tendens til at hamre et websted og øge serverbelastningen?

"Hammer" er subjektiv, men der ser ud til at være en generel overbevisning om, at Slurp er lad os sige ... måske lidt mere aggressiv, end det virkelig har brug for, og at det har foregået i årevis, dvs. 2007, 2009, 2011. En grundlæggende søgning efter noget lignende slurp robots delay vil dukke op en kæmpe bunke af klager.

Hvis du er fristet til faktisk blok Slurp, som foreslået på et af disse links, vil du måske også se dette nylige spørgsmål her for en anden optagelse.

  • En anden ting at overveje er, at forumklagerne (i det mindste 2011-tråden, som jeg læste) er fra brugere, der for det meste kommer ud som lidt uklare og også klager bare for at klage.
  • 2 Lidt støvet, men dette spørgsmål om Meta Stack Overflow hjælper med at forklare det.

Ja, fra personlig erfaring er Slurp aggressiv. Baidu endnu mere.

Hvis dit websted kan modstå Google, Bing, Slurp og Baidu-indeksering af dit websted inden for den samme uge, mens de betjener dine kunder eller indholdsseere med minimal forsinkelse, har du valgt dine platformspecifikationer og softwareopsætninger ret godt.

arbejdet for dig: Charles Robertson | Ønsker du at kontakte os?