Indeksowanie: co trafia do indeksu, a co nie

Moduł 1: Jak działają wyszukiwarki · Czas czytania: 11 minut

Cel lekcji: Po tej lekcji będą Państwo w stanie ocenić, czy dana strona może trafić do indeksu, a jeśli nie, która z czterech "blokad" ją zatrzymuje: kod stanu, robots.txt, noindex czy canonical.

Kluczowe pojęcia: indeksowanie, wymagania techniczne Google, noindex (meta robots i X-Robots-Tag), robots.txt to nie noindex, kanonizacja, powielona treść, soft 404, "zeskanowana, obecnie niezindeksowana", "wykryta, obecnie niezindeksowana", brak gwarancji

Co dzieje się podczas indeksowania

Gdy robot indeksujący pobierze stronę (lekcja 1.2), wyszukiwarka zaczyna ją czytać. Google analizuje tekst, tytuł, nagłówki, obrazy i filmy oraz ustala, w jakim języku jest strona. Google sprawdza też, czy strona jest kopią innej strony i która z tych kopii jest "prawdziwa". Dopiero potem Google decyduje, czy strona trafi do indeksu.

Google mówi o tym dwie rzeczy, które warto dobrze zapamiętać:

• Uwzględnienie w indeksie nie jest gwarantowane. Nawet jeśli Państwa strona spełnia wszystkie wymagania, Google może zdecydować, że jej nie uwzględni.
• To normalne, że nie wszystko jest w indeksie. Google pisze wprost w pomocy do raportu indeksowania, że nie należy oczekiwać, iż każdy adres witryny zostanie zindeksowany, i że może to być zupełnie w porządku. Liczą się Państwa ważne strony.

Trzy wymagania techniczne

Google wymienia trzy wymagania techniczne, które strona musi spełnić, aby mogła trafić do indeksu:

1. Googlebot nie jest blokowany. Strona jest dostępna, a robots.txt nie zabrania jej pobierania.
2. Strona działa. Serwer zwraca kod stanu 200, a nie błąd.
3. Strona ma treść, którą można zindeksować. Tekst w formacie pliku, który Google potrafi odczytać, bez naruszania zasad dotyczących spamu.

W praktyce dochodzą do tego dwie decyzje właściciela witryny: noindex ("nie uwzględniaj tego") oraz canonical wskazujący inny adres ("nie ten, tylko tamten"). Razem daje to cztery blokady, przez które strona musi przejść.

Blokada 1: kod stanu

Do indeksu może trafić tylko strona z kodem stanu 200. Kod 301 lub 308 przekierowuje wyszukiwarkę na nowy adres; oceniany jest wtedy ten nowy adres. Kod 404 lub 410 usuwa z indeksu adres, który był w nim wcześniej.

Podstępnym wariantem jest soft 404 z lekcji 1.2: kod stanu 200, ale treścią jest komunikat o błędzie lub prawie pusta strona. Google często to rozpoznaje i nie uwzględnia takiej strony. Również pusta strona kategorii w sklepie internetowym ("nie znaleziono produktów") może zostać uznana za soft 404.

Blokada 2: robots.txt

Za pomocą robots.txt zabraniają Państwo robotowi pobierania strony. To coś innego niż zakaz jej uwzględnienia w indeksie. Google mówi o tym jasno: robots.txt nie jest sposobem na ukrycie strony przed Google. Jeśli inne witryny linkują do zablokowanej strony, jej adres może mimo to pojawić się w wynikach, tylko bez opisu. W Search Console nazywa się to "Zindeksowana, chociaż zablokowana przez plik robots.txt".

Plik robots.txt służy do sterowania ruchem robotów: na przykład po to, aby robot nie przeglądał tysięcy stron z wynikami wyszukiwania w Państwa własnej witrynie. Lekcja 3.3 omawia to szczegółowo.

Blokada 3: noindex

Jeśli naprawdę chcą Państwo, aby strona nie pojawiała się w wynikach wyszukiwania, prosimy użyć noindex. Można to zrobić na dwa sposoby, z tym samym efektem:

<!-- w sekcji <head> strony -->
<meta name="robots" content="noindex">

X-Robots-Tag: noindex

Drugi sposób to nagłówek HTTP, który wysyła serwer. Działa on także w przypadku plików, które nie są HTML, na przykład pliku pdf. Wartość none oznacza to samo co noindex, nofollow. Przy <meta name="googlebot" content="noindex"> reguła dotyczy tylko Google; inne wyszukiwarki mogą inaczej interpretować regułę ogólną.

A teraz pułapka, która zdarza się bardzo często: noindex i blokada w robots.txt razem nie działają. Jeśli robots.txt blokuje stronę, Google jej nie pobiera, a więc nigdy nie zobaczy noindex. Strona może wtedy mimo wszystko trafić do indeksu dzięki linkom z innych witryn. Jeśli chcą Państwo usunąć stronę z Google: prosimy pozwolić ją pobrać i dodać do niej noindex.

Gdzie noindex pojawia się niezamierzenie?

• W WordPress w sekcji Ustawienia, Odczyt znajduje się pole wyboru "Proś wyszukiwarki o nieindeksowanie tej witryny". Dodaje ono noindex do całej witryny. Przydatne podczas budowy, katastrofalne, jeśli zapomną Państwo je wyłączyć.
• W AI Builder można ustawić witrynę lub stronę jako "nie indeksuj"; wtedy na stronie pojawia się noindex, nofollow. Bezpłatna witryna demonstracyjna również nigdy nie jest indeksowana.
• Wtyczka SEO lub motyw z błędnym ustawieniem dla pojedynczej strony lub dla określonego typu stron.

Inne kreatory stron mają podobne przełączniki, często o nazwie w rodzaju "ukryj przed wyszukiwarkami".

Blokada 4: canonical

Wiele witryn ma tę samą stronę pod kilkoma adresami: z www i bez, z http i https, z parametrem na końcu, takim jak ?utm_source=nieuwsbrief. Google wybiera z takiej grupy jeden adres jako wersję kanoniczną i pokazuje w wynikach tylko ten adres. Pozostałe są duplikatami.

Mogą Państwo pomóc Google w wyborze za pomocą przekierowania (silny sygnał) lub odwołania canonical na stronie:

<link rel="canonical" href="https://www.example.com/bruidsboeketten">

Canonical to sygnał, a nie polecenie: Google może wybrać inny adres. Jeśli Państwa canonical wskazuje inny adres, strona sama mówi: "nie uwzględniaj mnie, tylko tamtą". To dobrze, jeśli jest to zgodne z prawdą, i problem, jeśli to pomyłka, na przykład gdy każda strona wskazuje stronę główną. Lekcja 3.5 omawia to dokładniej.

Według Google powielona treść we własnej witrynie nie narusza zasad dotyczących spamu i nie prowadzi do ręcznego działania. Jest jednak nieefektywna: roboty wielokrotnie pobierają to samo, a Państwo nie decydują sami, który adres pojawia się w wynikach.

Komunikaty w Search Console

W raporcie Strony w Search Console (lekcja 2.4) widzą Państwo przyczynę dla każdej niezindeksowanej strony. Wszystkie cztery blokady się tam pojawiają:

Dwa ostatnie komunikaty nie oznaczają błędu technicznego. "Zeskanowana, obecnie niezindeksowana" pojawia się często; Google twierdzi, że nie zawsze jest to problem. Jeśli dotyczy to ważnej strony, prosimy sprawdzić, czy naprawdę wnosi coś wartościowego: unikalna, przydatna strona ma większe szanse niż uboga strona podobna do dziesięciu innych.

Podsumowanie

• Po skanowaniu wyszukiwarka decyduje, czy strona trafi do indeksu; nigdy nie jest to gwarantowane i nie wszystko musi się w nim znaleźć.
• Cztery blokady: kod stanu 200, brak blokady w robots.txt, brak noindex, canonical nieobecny lub wskazujący na samą stronę.
• robots.txt zabrania pobierania, a nie uwzględnienia w indeksie. Aby wykluczyć coś z wyników, prosimy użyć noindex i nie blokować tej strony w robots.txt.
• Canonical to silny sygnał, a nie polecenie. Powielona treść nie jest spamem, ale jest nieefektywna.
• "Zeskanowana, obecnie niezindeksowana" nie jest błędem technicznym; prosimy ocenić wartość strony.

Quiz

Zadanie

Zadanie A1.3: Czy ta strona może trafić do indeksu? Prosimy wpisać adres strony (strony z Państwa witryny lub strony, którą celowo ukrywają Państwo, na przykład strony z podziękowaniem). Następnie prosimy wybrać swoje przewidywanie: "może trafić do indeksu" lub "nie może trafić do indeksu", a jeśli wybiorą Państwo "nie może", również blokadę, która ją zatrzymuje (kod stanu, robots.txt, noindex, canonical na inny adres). Program sprawdza cztery blokady tak jak w tej lekcji i zestawia swój wynik z Państwa odpowiedzią.

Więcej informacji

• Google, Wymagania techniczne wyszukiwarki Google: https://developers.google.com/search/docs/essentials/technical
• Google, Blokowanie indeksowania za pomocą noindex: https://developers.google.com/search/docs/crawling-indexing/block-indexing
• Google, Wprowadzenie do pliku robots.txt: https://developers.google.com/search/docs/crawling-indexing/robots/intro
• Google, Scalanie zduplikowanych adresów URL (kanonizacja): https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls
• Pomoc Google Search Console, Raport Indeksowanie stron: https://support.google.com/webmasters/answer/7440203
• Darmowy kurs WordPress 9.2: Widoczność w wyszukiwarkach: podstawy