Googlebot
Robot indeksujący Google, który skanuje strony internetowe, zbiera informacje i przekazuje je do indeksu wyszukiwarki.
Czym jest Googlebot?
Googlebot to zbiorcza nazwa robotów indeksujących (crawlerów) Google, które systematycznie skanują strony internetowe, pobierają ich zawartość i przekazują dane do systemu indeksowania Google. Bez Googlebota żadna strona nie mogłaby pojawić się w wynikach wyszukiwania — crawlowanie przez Googlebota poprzedza indeksowanie, a indeksowanie poprzedza rankingowanie.
Googlebot identyfikuje się przez nagłówek User-Agent zawierający ciąg „Googlebot". Google udostępnia listę adresów IP swoich botów, dzięki czemu można weryfikować, czy odwiedzina pochodzi od prawdziwego Googlebota (a nie od bota podszywającego się pod niego). Weryfikacja: reverse DNS lookup dla adresu IP powinna zwrócić domenę googlebot.com lub google.com.
Typy Googlebota
| Bot | Funkcja | User-Agent (fragment) |
|---|---|---|
| Googlebot Smartphone | Główny bot — crawluje jako urządzenie mobile (mobile-first indexing) | Googlebot/2.1; +http://www.google.com/bot.html |
| Googlebot Desktop | Uzupełnia indeksowanie na desktop dla wybranych stron | Googlebot/2.1 |
| Googlebot Image | Crawluje obrazy do Google Images | Googlebot-Image/1.0 |
| Googlebot Video | Crawluje wideo do Google Video | Googlebot-Video/1.0 |
| Google-InspectionTool | Używany przez GSC przy „Testuj URL" | Google-InspectionTool/1.0 |
Jak Googlebot renderuje JavaScript?
Googlebot potrafi renderować JavaScript — ale proces jest dwuetapowy i opóźniony. Pierwsze przejście: Googlebot pobiera HTML i szybko przetwarza treść dostępną bez JS. Drugie przejście: strona jest umieszczana w kolejce renderowania (Rendering Queue), gdzie Googlebot uruchamia JavaScript i przetwarza wygenerowaną treść dynamicznie. Opóźnienie między crawlowaniem a renderowaniem może wynosić kilka sekund do kilku dni. Dla stron zbudowanych wyłącznie w React, Vue lub Angular bez SSR (Server-Side Rendering) oznacza to, że treść może być niewidoczna dla Googlebota przez długi czas — co szkodzi JavaScript SEO.
Jak kontrolować Googlebota?
Robots.txt — plik w katalogu głównym witryny z dyrektywami Disallow blokującymi crawlowanie wybranych ścieżek. Robots.txt blokuje crawlowanie, ale nie indeksowanie — jeśli zablokowana strona ma linki z zewnątrz, Google może ją zindeksować jako URL bez treści.Meta tag robots — <meta name="robots" content="noindex">blokuje indeksowanie konkretnej strony (ale nie blokuje crawlowania).Nagłówek HTTP X-Robots-Tag — odpowiednik meta tagu dla plików nieposiadających HTML, jak pliki PDF. Przydatny przy blokowaniu indeksowania całych katalogów przez konfigurację serwera.
FAQ — Googlebot
Jak często Googlebot odwiedza moją stronę?
Częstotliwość crawlowania zależy od autorytetu domeny i częstości aktualizacji treści. Portale newsowe odwiedzane są wielokrotnie dziennie. Statyczne strony małych firm — co kilka tygodni. Możesz sprawdzić historię crawlowania w logach serwera lub w GSC → Ustawienia → Statystyki crawlowania.
Co jeśli Googlebot nie może wczytać mojej strony?
Jeśli serwer zwraca błąd 5xx lub timeout, Googlebot odnotowuje problem i wraca później. Przy powtarzających się błędach Google może zmniejszyć częstotliwość crawlowania lub usunąć strony z indeksu. Sprawdź raport crawlowania w GSC → Ustawienia → Statystyki crawlowania i logach serwera. Wysoki wskaźnik błędów 5xx to priorytet do naprawy.