Hogyan tartható távol egy oldal a Google-től: robots.txt vagy noindex?
Szeretné, ha egy oldal ne jelenjen meg a Google-ban, például egy köszönőoldal, egy tesztoldal vagy egy régi akció? Ilyenkor sokan a robots.txt fájlra gondolnak. A robots.txt azonban nem tartja távol az oldalt a Google-tól. Erre a noindex szolgál. Ebben a cikkben bemutatjuk a különbséget, mindkettő használatát, és azt is, mi a teendő egy törölt oldallal. Példaként az example.com címet használjuk.
A különbség röviden
| robots.txt | noindex | |
|---|---|---|
| Mit jelent | „Ne kérd le ezt az oldalt.” | „Ne vedd fel ezt az oldalt a találatok közé.” |
| Távol tartja az oldalt a Google-tól? | Nem. Ha mások hivatkoznak az oldalra, a címe leírás nélkül mégis megjelenhet. | Igen, amint a Google újra felkereste az oldalt. |
| Hol található? | Egyetlen fájlban: https://example.com/robots.txt | Magában az oldalban, vagy a szerver által küldött fejlécsorban |
| Mire használható? | A feltérképezési forgalom irányítására, például a saját webhely keresési találati oldalainak kihagyására | Olyan oldalakhoz, amelyek elérhetők maradnak, de nem valók a Google-ba |
Egyik sem biztonsági megoldás. A robots.txt fájlt bárki elolvashatja, és a noindexszel ellátott oldal továbbra is elérhető marad. Ha valamit valóban védeni kell, tegye jelszó mögé. Lásd: Mappa védelme jelszóval a DirectAdminban.
A noindex használata
Helyezze el ezt a sort az oldal <head> részében:
<meta name="robots" content="noindex">
A nem HTML fájloknál, például egy pdf esetén, a szerver ugyanezt az utasítást fejlécsorként is elküldheti: X-Robots-Tag: noindex. A hatás ugyanaz.
Ezt általában nem kell saját kezűleg beírnia:
- AI Builder: nyissa meg a SEO részt, válassza ki az oldalt, majd a További lehetőségek ehhez az oldalhoz alatt kapcsolja ki az Ez az oldal látható a Google-ben kapcsolót. Az oldal elérhető marad, de noindexet kap. Ezután tegye közzé újra a webhelyet.
- WordPress: egy SEO-bővítményben oldalanként beállíthatja, hogy az adott oldal ne kerüljön indexelésre. A Beállítások, Olvasás menüben található Keresőmotorok kizárása a honlap indexeléséből jelölőnégyzet a teljes webhelyre vonatkozik.
- Más weboldalkészítők: keressen egy „elrejtés a keresőmotorok elől” jellegű beállítást.
A robots.txt létrehozása vagy módosítása
Egy tárhelycsomagban a robots.txt a domain webmappájában található, DirectAdmin esetén a public_html mappában. A fájlt a Fájlkezelőben vagy FTP-n keresztül hozhatja létre vagy szerkesztheti, lásd: A Fájlkezelő megnyitása: a csomag mappái. Egy példa:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
- A
User-agent: *minden keresőrobotra vonatkozik. ADisallow:egy útvonallal megadva mindent tilt, ami ezzel az útvonallal kezdődik. ADisallow: /a teljes webhelyet tiltja. - Ha külön
User-agent: Googlebotcsoportot is létrehoz, a Google csak ezt a csoportot követi, a*csoportot pedig figyelmen kívül hagyja. Ezért ott ismételje meg az összes olyan szabályt, amely a Google-ra is vonatkozik. - Ne tiltson le olyan mappákat, amelyekben az oldal működéséhez szükséges stíluslapok, szkriptek vagy képek találhatók.
- Ha nincs robots.txt, az nem probléma: ilyenkor minden engedélyezett. Ha a cím szerverhibát ad, a Google átmenetileg leállítja a lekérést.
A WordPress saját robots.txt fájlt állít elő, amíg nincs fájl a webmappában. Az AI Builder közzétételkor maga helyez el egy Sitemap: sort tartalmazó robots.txt fájlt.
Részletes leírás képernyőképekkel: Sitemap és robots.txt az AI Builderben és Sitemap és robots.txt a WordPressben és saját webhelyén az Online megtalálhatóság útmutatóban.
A Google a robots.txt fájlt általában legfeljebb 24 óráig tárolja. A Search Console Beállítások menüjében található a robots.txt-jelentés: ebben látható, melyik verziót kérte le a Google legutóbb, a hibákkal és figyelmeztetésekkel együtt, valamint egy gomb az újbóli lekérés kéréséhez.
Törölt oldal: 404 vagy 410, nem soft 404
Ha töröltt egy oldalt, a címnek 404 (nem található) vagy 410 (megszűnt) állapotkódot kell adnia. A következő látogatáskor a Google ekkor eltávolítja a címet a találatok közül. Ha az oldalnak van utódja, irányítsa át a régi címet 301-es átirányítással az új oldalra, lásd: Site Redirection: domain vagy oldal átirányítása.
A soft 404 olyan oldal, amely azt jelzi, hogy nem létezik, vagy szinte üres, mégis 200-as (megtalálva) kódot ad. A Google ezt gyakran felismeri, és nem veszi fel az ilyen oldalt. A Search Console-ban ez Soft 404 okként jelenik meg. Az is soft 404-nek számíthat, ha az összes törölt oldalt a kezdőlapra irányítja át. Egy valóban megszűnt oldal ezért adjon valódi 404-es vagy 410-es kódot.
Gyorsan el kell távolítani egy oldalt a találatok közül, például mert véletlenül személyes adatok szerepeltek rajta? Ilyenkor használja a Search Console Eltávolítások funkcióját. Ez ideiglenesen, körülbelül hat hónapig működik. Ezért gondoskodjon arról is, hogy az oldal 404-es vagy 410-es kódot adjon, jelszóval védett legyen, vagy noindexet kapjon.
További olvasnivaló
- Google: Az indexelés letiltása a noindex segítségével (angol nyelvű)
- Google: Bevezetés a robots.txt használatába (angol nyelvű)
- Google: robots.txt-jelentés
- Fájlok letiltása .htaccess segítségével
WordPresst használ? Az ingyenes WordPress-tanfolyam Megtalálhatóság: az alapok című leckéjében többet olvashat a robots.txt fájlról és a Keresőmotorok kizárása jelölőnégyzetről.
Szeretne többet megtudni? Végezze el az ingyenes Online megtalálhatóság tanfolyamot, azon belül a 3.3 robots.txt: mit tiltson le, és mit ne leckét.