Crawl budget: dlaczego Google nie odwiedza wszystkich Twoich podstron?

Dodajesz nową podstronę, czekasz tydzień i w Google dalej cisza. Pierwsza myśl: crawl budget. Czy słusznie? Czasem tak, ale znacznie częściej nie. Zanim zaczniesz coś optymalizować w ramach pozycjonowania SEO, warto wiedzieć, o czym właściwie mówimy.

Czym jest crawl budget?

Google opisuje go jako zbiór adresów URL, które robot może i chce przeskanować. Składają się na to dwa czynniki.

• Limit pojemności crawlowania (crawl capacity limit): ile połączeń i jak długo Twój serwer jest w stanie obsłużyć bez przeciążenia. Każda strona zaczyna od zachowawczego limitu domyślnego. Jeśli serwer pozostaje zdrowy, a zainteresowanie Google rośnie, limit może być podnoszony automatycznie.
• Popyt na crawlowanie (crawl demand): jak bardzo Google chce skanować Twoją stronę. Zależy od jej rozmiaru, częstotliwości aktualizacji, jakości i trafności treści.

Nawet jeśli limit pojemności nie jest wykorzystany, niski popyt oznacza mniej odwiedzin robota.

Czy Twoja strona musi się nim martwić?

Google pisze w dokumentacji wprost, dla kogo jest ten temat. Według niej dotyczy on przede wszystkim:

• dużych serwisów, czyli około miliona unikalnych stron i więcej, z treścią zmieniającą się mniej więcej raz w tygodniu,
• średnich i większych serwisów, czyli od około 10 tysięcy stron, z treścią zmieniającą się codziennie,
• serwisów, w których duża część adresów ma w Search Console status „Discovered – currently not indexed”.

Progi są przybliżone, ale wniosek jest czytelny. Jeśli prowadzisz firmową stronę z kilkudziesięcioma podstronami, crawl budget prawdopodobnie nie jest Twoim problemem. Wtedy szukaj przyczyn w jakości treści, braku linków wewnętrznych albo w tym, że Google uznał stronę za mało wartościową.

Jak sprawdzić, co dzieje się z indeksowaniem?

Zacznij od Google Search Console. Raport „Strony” pokaże Ci, które adresy są zaindeksowane, a które nie, i z jakiego powodu. Zwróć uwagę na statusy „Discovered – currently not indexed” oraz „Crawled – currently not indexed”. Z kolei raport „Statystyki indeksowania” w ustawieniach pokazuje, jak często robot odwiedza Twoją stronę i jak szybko serwer odpowiada.

Co marnuje crawl budget?

Google wymienia kilka głównych przyczyn:

• Duplikaty i zbędne adresy, na przykład filtry produktów, parametry w adresach czy wyniki wyszukiwarki wewnętrznej.
• Soft 404, czyli strony, które wyglądają jak błąd, ale zwracają kod sukcesu.
• Błędy serwera (5xx) i sygnały ograniczania ruchu (429), które obniżają limit crawlowania.
• Wolne odpowiedzi serwera.
• Długie łańcuchy przekierowań.

Jak oszczędzać crawl budget w praktyce?

1. Zablokuj w pliku robots.txt to, czego Google nie powinien skanować, na przykład filtry i wyniki wyszukiwania wewnętrznego. Google ostrzega jednak, że robots.txt nie służy do tymczasowego przesuwania budżetu na inne strony.
2. Usunięte na stałe strony zwracaj z kodem 404 lub 410. Według Google kod 404 to silny sygnał, żeby nie crawlować danego adresu ponownie.
3. Utrzymuj aktualną mapę strony (sitemap) ze znacznikiem lastmod przy zmianach treści.
4. Konsoliduj duplikaty, na przykład przez przekierowania albo tagi canonical.
5. Unikaj długich łańcuchów przekierowań.
6. Przyspiesz serwer. Szybsze odpowiedzi pozwalają robotowi pobrać więcej treści. Pomaga też obsługa kodu 304 (Not Modified).
7. Linkuj wewnętrznie do ważnych podstron, żeby robot mógł je łatwo znaleźć.

Jedna pułapka: znacznik noindex nie oszczędza crawl budgetu. Google musi pobrać stronę, żeby go zobaczyć, więc czas robota i tak zostaje zużyty.

Co robić, jeśli masz małą stronę?

Zamiast walczyć z budżetem, zadbaj o podstawy. Napisz treści, które odpowiadają na pytania klientów. Połącz podstrony linkami wewnętrznymi. Dodaj mapę strony i zgłoś w Search Console ważne adresy do zaindeksowania. Jeśli strona działa wolno, zajrzyj do wpisu o tym, jak INP wpływa na odbiór strony.

Źródło: Google Search Central, Optimize your crawl budget.