♫ \ "Minecraftable \" - Minecraft Parody Song of Maroon 5 \ "Animals \"

Bruges edderkopper nogensinde af andre end søgemaskiner og spammere? Hvis nogen ønskede at indsamle oplysninger fra internettet, ville de nogensinde bruge dem? Tak

Nogle grunde til, at en bot kan bruges, der kommer til at tænke på mig, er:

  • Nogle biblioteker gennemsøger et websted for dets metaoplysninger (normalt efter at et websted er sendt til biblioteket)

  • Kontekstuelle annoncetjenester som Adsense bruger bots til at finde ud af, hvad en side handler om, så relevante annoncer kan vises

  • Webmastere kan bruge bots til at finde potentielle sammenkædningspartnere. Dette kan falder ind under spammer-kategorien, men jeg vil liste det for folk, der ikke bruger det ondsindet.

  • Webmastere kan bruge bots til at kontrollere, at et link, der er bogført i en linkudveksling, har været og stadig findes på partnerens websted

  • 2 God liste. En mere: Bots bruges til at scanne websteder for opdateringer af aggregeringstjenester (selvom de nogle gange kunne bruge RSS-feeds).

Du kan bruge en edderkop til at gennemgå dit eget websted på udkig efter ødelagte links.

Der er mange, mange potentielle anvendelser til webcrawlere - en gennemgang af Wikipedia's liste over Open Source-webcrawlere eller eksempler på Spidering Hacks fra O'Reilly kan hjælpe med at illustrere de mange måder, webmastere og programmører bruger andres tjenester og information på.

Ud over "venlige" edderkopper kan du også forvente at se masser af spambot-informationshøstere, skrabere, kontaktformularspammere og sårbarhedsscannere (som Nessus) i dit websteds adgangslogfiler.

Enhver, der er fortrolig med scripting og har interesse i andre websteds tjenester, kan implementere en edderkop af en række variationer.

arbejdet for dig: Charles Robertson | Ønsker du at kontakte os?