Atomyo Academy - Digital Marketing Quizzer - Turnering 1 - 100 spørgsmål og svar

På et websted, jeg ejer, begyndte jeg for nylig at se Googlebot kontrollere for ikke-eksisterende URI'er:

66.249.76.89 - - [23/Feb/2020:10:18:48 +0100] 'GET /robots.txt HTTP/1.1' 404 118 '-' 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)' '-' 66.249.76.87 - - [23/Feb/2020:10:18:49 +0100] 'GET /admin/install.php HTTP/1.1' 404 181 '-' 'Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)' '-' 

Dette ville alt sammen være godt og godt, hvis ikke for det faktum, at det aldrig har gjort det før, denne URI har aldrig eksisteret (jeg ejer domænet i 10+ år) og ser mistænkeligt ud som tilfældigt at scanne efter mulige sikkerhedsproblemer.

89.76.249.66.in-addr.arpa domain name pointer crawl-66-249-76-89.googlebot.com. er faktisk også en Googlebot-adresse.

Kan nogen kaste mere lys over dette?

  • 2 Måske er det blevet knyttet til fra et eller andet sted?
  • Linket ville ikke nødvendigvis have været på dit websted. Enhver kan oprette links til ikke-eksisterende sider på dit websted. Nogen kunne endda oprette sådanne links skadeligt for at få Googlebot til at gennemgå webadresser, der kunne skade dit websted.

For andre websteder (som for mig) er dette en slags ret almindelig opførsel af Googlebot - at gennemgå ikke-eksisterende sider.

Men rolig - det vil helt sikkert stoppe det med tiden. Bare vær opmærksom på, at dine ikke-eksisterende sider har den korrekte statuskode (404, 410).

Hvorfor Googlebot gør det? Der er nogle årsager:

  • Det finder noget i dine javascripts, hvad der ligner stier - og forsøger at gennemgå dem for måske at finde noget mere (~ trøfler ~) indhold, grådig gris.
  • Det forsøger at få nyt indhold fra at tilføje forskellige stier og filnavne sammen.

arbejdet for dig: Charles Robertson | Ønsker du at kontakte os?