Search Console Helper - SEO nr. 1-værktøjet til søgeordsporing til Google

Jeg har nogle URL'er (nogle pdfs og statiske HTML-filer) på mit websted, som jeg kun vil have få mennesker til at kende. Disse webadresser har ikke nogen pegende links fra min hjemmeside eller nogen anden kilde.

Så mit spørgsmål er dette: Kan google gennemgå en URL (f.eks. En statisk HTML-fil), der ikke har noget indgående link?

Normalt nej, men du skal være rigtig sikker på, at URL'en ikke findes nogen steder på nettet i dit sitemap, hvis du offentliggør den. Du skal også være forsigtig med statistikker over webserveradgang, hvis du offentliggør dem.

Derudover kan du altid bruge robot.txt fil for at bede Google om ikke at gennemgå webadresserne.

Men dette er bare sikkerhed ved obfuscation, hvis du virkelig vil beskytte dem på en korrekt måde (godkendelse / autorisation)

  • 1 +1 for at tilføje noten om godkendelse / autorisation. Den eneste rigtige måde at garantere søgemaskiner på, er ikke i stand til at nå disse sider, er at have dem i et sikkert område på en sådan måde, at selv anmodning om sti direkte udløser godkendelsen.

Ja, Google finder det på en eller anden måde!

De overvåger folks browser / søgehistorik via Google-konti / værktøjslinjer / sociale netværk og lignende - brug derefter disse data til at udvide og prioritere deres crawler.

Så hvis en bruger besøger din side, mens han er logget ind på en Google-konto, med dens søgehistorik sporing aktiveret Google kan find ud af om din side. Du kan heller ikke kontrollere, hvad brugere sender til sociale mediesider og lignende.

Du kan dog forhindre, at det medtages i Googles indeks, robots.txt, en simpel tekstfil, der sidder i www-rodmappen på din server, stopper GoogleBot i dens spor.

Hus dine ikke-google-sider i en enkelt mappe, og ekskluder sådan: -

User-agent: * Disallow: /your-directory-name/ 

Som @Matteo og @Zaph bemærker, er dette ikke reel beskyttelse og forhindrer ikke bestemte brugere i at finde dit indhold. Jeg bruger .htpasswd til at blokere områder på mine websteder i forbindelse med Coffee Cup Website Access Manager, der udsender hashede htpasswd-filer og uploader dem til dit websted og giver multi-brugeradministration.

  • 2 Bemærk, at dette ikke forhindrer folk i at snuse i din robots.txt-fil og selv se på mapper og filer, som du angiver der. Dit bedste valg er sandsynligvis at beskytte biblioteket med adgangskode samt nævne det i robots.txt.
  • Jeg synes ikke dette svar giver mening. Hvordan kan "overvågning af søgehistorik" hjælpe Google med at indeksere sider, hvis filerne ikke returneres i søgeresultaterne?
  • @DisgruntledGoat Google bruger i det væsentlige input fra søgehistorikken i din Google-konto / værktøjslinje / webstedsøgning / analyse til at 'træne' sin bot. Sagt på en anden måde, i nogle henseender dirigerer du crawleren.
  • @toomany men jeg kan ikke se, hvordan det fører til opdagelse af webadresser. Lad os antage, at Google ikke kender en URL. Derefter søger du på Google efter noget, der passer til den URL. Denne URL returneres naturligvis ikke, da Google ikke ved det. Så hvordan kan den få URL'en fra din søgehistorik, når den ikke er der? Og Google Analytics (og Adsense for den sags skyld) er helt adskilte, de deler ikke data.
  • @DisgruntledGoat Bruger besøger tidligere ukendt URL (søgehistorik osv. Aktiveret)> Google opdager URL> Google indekserer URL

Så længe der ikke er noget indgående link eller noget, der kan pege google mod filen (sitemap, åben katalogstruktur osv.), Så mener jeg, at det ikke skal indekseres. alternativt kan du placere filerne i en mappe og blokere den gennem robots-filen.

arbejdet for dig: Charles Robertson | Ønsker du at kontakte os?