Hold en side ude af Google: robots.txt eller noindex?
Vil du holde en side ude af Google, for eksempel en takkeside, en testside eller en gammel kampagne? Så tænker mange på filen robots.txt. Men robots.txt holder ikke en side ude af Google. Det er det, noindex er til. I denne artikel kan du læse om forskellen, hvordan du bruger begge dele, og hvad du gør med en side, du har slettet. Vi bruger example.com som eksempel.
Forskellen kort fortalt
| robots.txt | noindex | |
|---|---|---|
| Hvad den siger | "Hent ikke denne side." | "Medtag ikke denne side i søgeresultaterne." |
| Holder den en side ude af Google? | Nej. Hvis andre linker til siden, kan adressen alligevel blive vist, uden beskrivelse. | Ja, så snart Google har besøgt siden igen. |
| Hvor står den? | I én fil på https://example.com/robots.txt | I selve siden, eller som en header, som serveren sender med |
| Hvad bruger du den til? | At styre crawltrafikken, for eksempel at springe søgeresultatsider på dit eget website over | Sider, der skal være tilgængelige, men ikke høre hjemme i Google |
Ingen af dem er en sikkerhedsforanstaltning. Alle kan læse din robots.txt, og en side med noindex er stadig tilgængelig. Skal noget virkelig være beskyttet, så læg det bag en adgangskode. Se Beskyt en mappe med en adgangskode i DirectAdmin.
Sådan bruger du noindex
Indsæt denne linje i sidens <head>:
<meta name="robots" content="noindex">
For filer uden HTML, som en pdf, kan serveren sende den samme instruktion med som en header: X-Robots-Tag: noindex. Effekten er den samme.
Som regel behøver du ikke selv at skrive det:
- AI Builder: åbn afsnittet SEO, vælg siden, og slå kontakten Denne side kan findes i Google fra under Mere til denne side. Siden er stadig tilgængelig, men får et noindex. Udgiv derefter igen.
- WordPress: et SEO-plugin har for hver side en indstilling, så siden ikke bliver indekseret. Fluebenet Fraråd søgemaskiner at indeksere dette websted under Indstillinger, Læsning gælder for hele websitet.
- Andre websitebyggere: kig efter en indstilling som "skjul for søgemaskiner".
Opret eller ret robots.txt
På et hostingabonnement ligger robots.txt i webmappen for dit domæne, i DirectAdmin mappen public_html. Du opretter eller redigerer filen via Filhåndtering eller FTP, se Åbn Filhåndtering: mapperne i dit abonnement. Et eksempel:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *gælder for alle søgerobotter.Disallow:med en sti forbyder alt, der begynder med den sti.Disallow: /forbyder hele websitet.- Opretter du også en gruppe
User-agent: Googlebot, følger Google kun den gruppe og ignorerer gruppen*. Gentag derfor alle regler, der også gælder for Google, i den gruppe. - Bloker ikke mapper med stylesheets, scripts eller billeder, som din side har brug for.
- Ingen robots.txt er ikke et problem: så er alt tilladt. Giver adressen en serverfejl, stopper Google midlertidigt med at hente.
WordPress laver selv en robots.txt, så længe der ikke ligger en fil i webmappen. AI Builder opretter selv en robots.txt med en Sitemap:-linje, når du udgiver.
Udførlig forklaring med skærmbilleder: Sitemap og robots.txt i AI Builder og Sitemap og robots.txt i WordPress og dit eget website i vejledningen Bliv fundet online.
Google gemmer som regel din robots.txt i op til 24 timer. I Search Console finder du robots.txt-rapport under Indstillinger: hvilken version Google sidst har hentet, med fejl og advarsler, og en knap til at få den hentet igen.
En slettet side: 404 eller 410, ikke soft 404
Har du slettet en side, bør adressen give statuskoden 404 (ikke fundet) eller 410 (forsvundet). Ved næste besøg fjerner Google så adressen fra søgeresultaterne. Har siden en afløser, så viderestil den gamle adresse med en 301 til den nye side, se Omdiriger site: viderestil et domæne eller en side.
En soft 404 er en side, der siger, at den ikke findes, eller som næsten er tom, men alligevel giver koden 200 (fundet). Google genkender det ofte og medtager ikke sådan en side. I Search Console ser du det som årsagen Soft 404. Også at viderestille alle slettede sider til din forside kan blive regnet som soft 404. Lad derfor en side, der virkelig er væk, give en rigtig 404 eller 410.
Skal en side hurtigt ud af resultaterne, for eksempel fordi der ved en fejl stod personoplysninger på den? Brug så Fjernelser i Search Console. Det virker midlertidigt, cirka seks måneder. Sørg derfor også for, at siden har en 404, 410, adgangskode eller noindex.
Læs mere
- Google: Bloker indeksering med noindex (engelsk)
- Google: Introduktion til robots.txt (engelsk)
- Google: robots.txt-rapport
- Bloker filer via .htaccess
Bruger du WordPress? I lektionen Synlighed: det grundlæggende i det gratis WordPress-kursus kan du læse mere om robots.txt og fluebenet Fraråd søgemaskiner.
Vil du lære mere? Tag det gratis kursus Bliv fundet online, lektion 3.3 robots.txt: hvad du skal og ikke skal blokere.
Vil du lære mere? Tag det gratis kursus Bliv fundet online, lektion 3.3 robots.txt: hvad du blokerer, og hvad du ikke blokerer.