Co warto wiedzieć o indeksowaniu stron internetowych przez Google
Google indeksuje otwartą sieć od ponad 30 lat i regularnie otrzymujemy pytania o to, jak działają nasze roboty indeksujące. Aby odpowiedzieć na niektóre z nich, przedstawiamy kilka faktów o robotach Google i o tym, jak pomagają nam one porządkować informacje z całego świata i łączyć użytkowników z treściami z całego internetu.
Co to jest indeksowanie? Krótko mówiąc, indeksowanie to sposób, w jaki Google „widzi” internet
Indeksowanie to proces, w którym automatyczne oprogramowanie wykrywa nowe strony internetowe i je analizuje. Dzięki temu, gdy wejdziesz do Google, aby znaleźć stronę internetową, wiemy, że ona istnieje, i możemy uwzględnić ją w wynikach wyszukiwania. Wszystkie wyszukiwarki korzystają z indeksowania, aby wiedzieć, jakie strony i informacje mogą być dostępne. Aby dowiedzieć się więcej, obejrzyj nasz film o tym, jak wyszukiwarka Google indeksuje strony.
Mamy wiele robotów indeksujących, a każdy z nich ma ważne zadania
Googlebot to nasz najbardziej znany robot indeksujący, który służy do aktualizowania wyników w wyszukiwarce Google. Mamy też roboty indeksujące przeznaczone do innych usług, takich jak Grafika Google i Zakupy Google. Udostępniamy pełną dokumentację dotyczącą naszych najczęściej używanych robotów indeksujących i ich przeznaczenia. Nasze roboty indeksujące używają łatwych do rozpoznania nazw klientów użytkownika i znanych adresów internetowych. Dzięki temu właściciele witryn mogą mieć pewność, że roboty Google, które widzą, są autentyczne.
Powtarzamy indeksowanie, aby znajdować najnowsze aktualizacje i zapewniać najświeższe wyniki wyszukiwania
Aby wychwytywać aktualności, możemy ponownie indeksować strony główne z wiadomościami co kilka minut. W innych przypadkach możemy zauważyć, że od lat nic się nie zmieniło, więc możemy poczekać miesiąc, zanim ponownie zindeksujemy stronę. Właściciele witryn mogą wpływać na częstotliwość ponownego indeksowania, korzystając z plików map witryn, które informują nas o nowych i zaktualizowanych stronach.
Częste indeksowanie to dobry znak
Jeśli często indeksujemy Twoją witrynę, oznacza to, że Twoje strony zawierają nowe lub bardzo trafne treści, których szukają użytkownicy, a nasze systemy rozpoznają to zapotrzebowanie. Zakupy online to świetny przykład: często indeksujemy witryny handlu elektronicznego, aby w wynikach wyszukiwania wyświetlać najbardziej aktualne ceny, promocje i stan asortymentu sprzedawców.
Indeksowanie Google z czasem się rozwinęło, ponieważ strony stały się bardziej złożone
Innym powodem, dla którego często ponownie indeksujemy strony internetowe, jest pełne zrozumienie ich zawartości i tego, co oferują. Nasze roboty indeksujące używają techniki zwanej renderowaniem, która wczytuje witrynę w całości, aby „zobaczyć” stronę tak, jak widzi ją prawdziwa osoba. Z biegiem lat strony internetowe stały się bardziej zaawansowane. Średni rozmiar strony mobilnej wzrósł z 816 kilobajtów do 2,3 megabajta i obecnie zawiera ponad 60 różnych plików do wczytania – od obrazów po komponenty interaktywne. Aby uzyskać reprezentatywny obraz strony internetowej w pełnej krasie, możemy potrzebować kilkukrotnego indeksowania tej samej strony – lub nawet więcej, ponieważ nowe elementy są dodawane cały czas.
Automatycznie optymalizujemy indeksowanie
Nasze roboty indeksujące są zaprojektowane pod kątem wydajności i dostosowują się tak, aby zminimalizować wpływ na właścicieli witryn. Jeśli na przykład witryna działa wolniej lub zwraca błędy, nasza szybkość indeksowania zmienia się automatycznie, aby uniknąć przeciążenia serwerów witryny. Staramy się ograniczać niepotrzebne indeksowanie, zapisując w pamięci podręcznej zindeksowane treści. Gdy nasze roboty indeksujące odkrywają więcej stron witryny, mogą też rozpoznawać sekcje, które można indeksować rzadziej. Na przykład kalendarze, które sięgają roku 9999, prawdopodobnie nie muszą być indeksowane w całości. Właściciele witryn mogą pomóc, określając, które treści nie muszą być indeksowane. Dzięki temu witryny mogą obniżyć koszty infrastruktury, a cały internet będzie działać wydajniej.
Roboty Google nigdy nie wchodzą na strony z treściami za paywallem lub wymagającymi subskrypcji bez pozwolenia
Domyślnie, jeśli strona nie jest dostępna w otwartej sieci (np. jeśli treści są dostępne po zalogowaniu), nasze roboty indeksujące również nie mogą jej otworzyć. Mamy szczegółowe wskazówki dla właścicieli witryn, którzy chcą przyznać Google wyraźne uprawnienia dostępu do stron wymagających subskrypcji (np. po to, aby Google mogło kierować użytkowników do tych treści). Jeśli zdecydujesz się przyznać naszym robotom indeksującym dostęp do subskrypcji, możesz użyć danych strukturyzowanych, aby nadal wyświetlać użytkownikom ekran logowania bez naruszania naszych zasad dotyczących spamu. Możesz też zapobiec wyświetlaniu treści wymagających subskrypcji w podglądzie stron, korzystając z narzędzi sterowania podglądem.
Właściciele witryn mają kontrolę nad tym, co i jak jest indeksowane
Przestrzegamy standardów otwartej sieci, takich jak robots.txt – prosty plik tekstowy, który umożliwia właścicielom witryn określenie, jak roboty indeksujące, takie jak nasz, powinny wchodzić w interakcję z ich stronami. Plik robots.txt wraz z tagami meta dla robotów umożliwia witrynom łatwe informowanie Google i innych usług o tym, jak uzyskać dostęp do ich treści. Mogą blokować wyświetlanie stron w wyszukiwarce. Mogą informować nas o nowych treściach, które chcą zindeksować, za pomocą map witryn. Mogą też zarządzać częstotliwością indeksowania swoich witryn za pomocą budżetu indeksowania.
Nasze standardowe roboty indeksujące zawsze respektują wybory witryn dotyczące sposobu dostępu do ich treści i ich wykorzystania
Po zindeksowaniu możemy użyć zindeksowanych danych wielokrotnie, aby ograniczyć niepotrzebne powtarzanie żądań w witrynach. Nawet gdy ponownie wykorzystujemy te dane, nadal respektujemy wybory dokonywane przez witryny za pomocą pliku robots.txt i ustawień, które oferujemy w ramach tego protokołu otwartej sieci. Witryny mogą na przykład używać Google-Extended w pliku robots.txt, aby kontrolować m.in. to, czy ich treści pomagają w trenowaniu przyszłych wersji modeli Gemini. Korzystanie z Google-Extended nie ma wpływu na uwzględnienie witryny w wyszukiwarce ani nie jest używane jako czynnik decydujący o pozycji w rankingu w wyszukiwarce.
Udostępniamy właścicielom witryn wiele narzędzi do zarządzania indeksowaniem przez Google, w tym Google Search Console, które jest dostępne bezpłatnie. Zawiera ono informacje o tym, ile stron zostało przez nas zindeksowanych i dlaczego. Pomaga też witrynom diagnozować problemy, takie jak przerwy w działaniu serwera czy problemy z szybkością. Oprócz tego Search Console udostępnia wyczerpujące informacje o tym, jak strony witryny są widoczne w wyszukiwarce i jak użytkownicy wchodzą z nimi w interakcję.
Nasze roboty indeksujące pomagają użytkownikom znajdować najlepsze treści w internecie, a my stale szukamy sposobów na zwiększenie ich możliwości i wydajności.