Uwierzytelnianie żądań za pomocą protokołu Web Bot Auth (funkcja eksperymentalna)

Google testuje wykorzystanie projektu internetowego IETF Web Bot Auth, który jest nowym protokołem kryptograficznym pomagającym witrynom sprawdzać, czy boty są autentyczne. Testujemy protokół z niektórymi agentami AI hostowanymi w infrastrukturze Google. Z tego przewodnika dowiesz się, czym jest Web Bot Auth, jaki jest jego obecny stan i jak możesz wdrożyć weryfikację w fazie eksperymentalnej.

Czym jest Web Bot Auth?

Web Bot Auth to eksperymentalny protokół kryptograficzny służący do uwierzytelniania żądań wysyłanych przez boty. Zamiast polegać wyłącznie na zgłaszanych samodzielnie nagłówkach i adresach IP, Web Bot Auth umożliwia agentom kryptograficzne podpisywanie żądań.

Korzystanie z protokołu Web Bot Auth pomaga właścicielom witryn identyfikować ruch automatyczny w ich witrynach i zapobiega próbom podszywania się pod renomowanych agentów przez inne podmioty. Web Bot Auth może przynieść te korzyści:

  • Pewność kryptograficzna: wyjdź poza łatwe do sfałszowania nagłówki i korzystaj ze zweryfikowanej tożsamości oraz oddziel tożsamość agenta od adresów IP.
  • Lepsza widoczność: uzyskaj dokładniejsze informacje o tym, jak agenty wchodzą w interakcje z Twoimi treściami.
  • Przyszłościowe rozwiązania: pomagamy tworzyć sieć, w której dostawcy agentów i witryny mogą budować wzajemne zaufanie i podejmować świadome decyzje dotyczące dostępu.

Bieżący stan Web Bot Auth: eksperymentalny

Implementacja protokołu Web Bot Auth przez Google jest obecnie eksperymentalna z tych powodów:

  • Web Bot Auth to obecnie wersja robocza specyfikacji opracowanej przez grupę roboczą WBA IETF, która może się z czasem zmieniać. Google nadal angażuje się w prace grupy roboczej w miarę jej rozwoju.
  • Weryfikacja botów na podstawie klienta użytkownika i adresu IP jest obecnie standardem, wokół którego przez dziesięciolecia powstały systemy, zasady i sprawdzone metody. Zmiana tych ustawień wymaga czasu i ostrożnego podejścia. Jesteśmy na wczesnym etapie i nadal oceniamy parametry techniczne oraz potencjalne konsekwencje protokołu dla ekosystemu.

Co to oznacza?

Stan eksperymentalny oznacza, że:

Osobom, które chcą wziąć udział w fazie eksperymentalnej, udostępniamy wskazówki, jak rozpoznawać i dodawać do listy dozwolonych agentów AI od Google.

Jak dodać do listy dozwolonych agentów AI od Google za pomocą protokołu Web Bot Auth

Jeśli jesteś deweloperem lub administratorem systemu i chcesz dodać nasze eksperymentalne agenty AI do listy dozwolonych, możesz przeprowadzić weryfikację za pomocą protokołu Web Bot Auth:

Użyj usługi, która obsługuje protokół Web Bot Auth.

Główne usługi wykrywania botów, sieci CDN i zapory WAF obsługują protokół Web Bot Auth. Niektóre usługi infrastruktury umożliwiają wyszukiwanie klienta użytkownika Google-Agent i dodawanie go do listy dozwolonych. Dokładne instrukcje znajdziesz u swojego dostawcy. Podzbiór żądań wysyłanych przez Google-Agent jest podpisany za pomocą protokołu Web Bot Auth. W takich przypadkach są one uwierzytelniane jako https://agent.bot.goog. Jeśli Twój dostawca obsługuje ten protokół, prawdopodobnie weryfikuje to automatycznie.

Samodzielne weryfikowanie próśb

Jeśli chcesz samodzielnie uwierzytelniać nasze żądania, zapoznaj się ze specyfikacją podpisów wiadomości HTTP dla ruchu automatycznego i przykładowymi implementacjami na GitHubie. Ogólnie rzecz biorąc, najważniejsze kroki protokołu to:

  1. Pobierz zestaw kluczy publicznych naszego agenta z https://agent.bot.goog/.well-known/http-message-signatures-directory i zapisz je w pamięci podręcznej zgodnie z nagłówkiem Cache-Control.
  2. Żądania uczestniczące wysyłane do Twojego serwera będą miały nagłówek żądania HTTP Signature-Agent ustawiony na g="https://agent.bot.goog" (zwróć uwagę na etykietę g=).
  3. Sprawdź nagłówek Signature zgodnie z Signature-Input, zgodnie ze standardem podpisów wiadomości HTTP (RFC 9421). Użyj nagłówków Signature i Signature-Input oznaczonych jako g.
  4. Pamiętaj, aby w razie potrzeby korzystać z weryfikacji na podstawie adresu IP, ponieważ nie wszystkie żądania są podpisane.
Kroki weryfikacji Web Bot Auth

W przypadku żądań, które są wrażliwe na opóźnienia, możesz zwrócić odpowiedź z wyprzedzeniem i zweryfikować podpis w okresie ważności. W takim przypadku sankcje zostaną nałożone po fakcie i będzie można je zastosować do przyszłych żądań dzwoniącego.

Dalsze kroki