Jeg kan ikke finde en løsning til min opgave.

For eksempel har jeg to sider: / og /some-category/. Begge har GET-parametre: page og flere filtre.

Jeg har brug for resultatet: /, /?page=x, /some-category/ at blive tilladt, og /?page=x&, /some-category/? at blive afvist.

Jeg fandt dette: Disallow: /*?*. Det forhindrer gennemsøgning efter eventuelle forespørgselsstrenge på webstedet, og det er godt, men hvad skal jeg supplere for at få det ønskede resultat?

  • robots.txt er sandsynligvis ikke det rigtige værktøj til jobbet her. Det understøtter ikke regelmæssige udtryk, så det er ikke rigtig udtryksfuldt nok til dine sager. Er du villig til at ændre dine webadresser for at gøre dem mere kompatible med robots.txt? Er du villig til at prøve andre løsninger såsom omdirigeringer eller kanoniske tags?
  • @StephenOstermiller Ja, jeg bruger allerede metakoder til robotter. OK, så jeg fjerner GET-parameteren "side" og opretter en anden rute til dette. Så passer "Disallow: / *? *" Perfekt til mig. Tak skal du have.

arbejdet for dig: Charles Robertson | Ønsker du at kontakte os?