Jeg bruger ASP.NET-webformularer, og jeg har en side, som vi kan kalde det Subjects.aspx, Jeg vil ikke have, at webcrawlere skal gennemgå den side, men jeg vil have, at de gennemgår de dynamiske webadresser, der drives af den. For eksempel /subjects/{id}/{title} hvilke ruter til subjects.aspx.

Jeg brugte et gennemgangsværktøj og siden /Subjects.aspx blev fundet. Er det okay, at jeg ikke tillader den side i robots.txx som følger:

user-agent: * disallow: /subjects.aspx/ 

mens du tilføjer de dynamiske webadresser i sitemap?

  • 1 En "rute" er en kortlægning mellem URL'er og den software, der driver den. Jeg har for det meste ændret din ordlyd fra "ruter" til "URL'er", fordi du spørger om URL'en (som er bruger og bot synlig) og mindre om "ruten", som er en intern ting til kodningen af ​​dit websted.
  • 1 Du bør prøve at fjerne alle links til subjects.aspx. Når du kører en webcrawler på dit websted, bør du ikke have nogen links til det, hvis det er muligt. Alle links skal gå til de foretrukne dynamiske webadresser.
  • @StephenOstermiller tak, jeg har ikke nogen links, der peger på subject.aspx, men stadig vises det i screaming frog crawling kan jeg dog ikke tillade det i robots.txt, mens jeg tilføjer de dynamiske webadresser (der peger på den side) i sitemap?
  • 2 Hvis du ikke har nogen links til det, ville det ikke dukke op i skrigende frø. Du har et link til det et eller andet sted. Find det og fjern det. Skrigende frø skulle være i stand til at fortælle dig, hvor den fandt det link.
  • 1 Du kan stadig ikke tillade det /Subjects.aspx i robots.txt og /subjects/{id}/{title} vil ikke blive blokeret (robots.txt matcher præfikset - og de er forskellige webadresser). Men som Stephen som påpegede, hvis Screaming Frog-opkalderen kan finde det, skal du have et link til det et eller andet sted. Screaming Frog ser kun på HTTP respons fra din server, så der skal være noget der er udsat i det svar.

arbejdet for dig: Charles Robertson | Ønsker du at kontakte os?