Generator kluczy Web Bot Auth i podpisów RFC 9421

Tradycyjna identyfikacja botów internetowych oraz scraperów AI opiera się na nagłówku User-Agent oraz listach adresów IP. Oba mechanizmy mają wady. Nagłówek User-Agent można łatwo sfałszować, a utrzymywanie stale zmieniających się list adresów IP jest kosztowne i zawodne. Standard Web Bot Auth, rozwijany w ramach projektów roboczych IETF Internet-Drafts bazujących na specyfikacji RFC 9421 HTTP Message Signatures, wprowadza kryptograficzne uwierzytelnianie każdego żądania HTTP.

Bot podpisuje kluczowe elementy zapytania za pomocą klucza prywatnego Ed25519. Serwer docelowy pobiera klucz publiczny bota z jego domeny i weryfikuje podpis. Dzięki temu właściciel witryny ma pewność, że ruch pochodzi od zadeklarowanego podmiotu, a nie od fałszywego skryptu podszywającego się pod znanego crawlera.

Generator kluczy Web Bot Auth tworzy kompletny pakiet danych wdrożeniowych. Kluczowym elementem jest identyfikator klucza (Key ID), wyliczany jako skrót JWK thumbprint zgodnie z RFC 7638 oraz RFC 8037 przy użyciu algorytmu SHA-256 kodowanego w formacie base64url.

Pakiet wyjściowy zawiera:

1. Plik katalogu kluczy w formacie JSON przeznaczony do publikacji pod ścieżką /.well-known/http-message-signatures-directory.
2. Klucz prywatny w formatach JWK oraz PKCS#8 PEM, służący do podpisywania żądań bota.
3. Klucz publiczny w formacie SPKI PEM.
4. Przykładowe nagłówki odpowiedzi katalogu z podpisem ważnym przez 24 godz..
5. Przykładowe podpisane żądanie HTTP wraz z poleceniem curl oraz dokładną bazą podpisu (signature base).

Aby odbiorcy mogli zweryfikować podpis żądania, bot musi udostępnić swój klucz publiczny. Specyfikacja Web Bot Auth wymaga wystawienia pliku pod ścieżką /.well-known/http-message-signatures-directory w domenie określonej w nagłówku Signature-Agent.

Odpowiedź serwera powinna zwracać typ MIME application/http-message-signatures-directory+json. Sam plik katalogu musi być podpisany nagłówkami HTTP Message Signatures, co chroni go przed modyfikacją w pośredniczących pamięciach podręcznych. W środowisku produkcyjnym podpis ten generuje się dynamicznie lub odświeża cyklicznie, na przykład co 24 godz..

W katalogu można zdefiniować parametry ważności klucza, takie jak nbf (not before) oraz exp (expiration time), wybierając cykl rotacji na 30 dni, 90 dni lub 365 dni. Ułatwia to zaplanowaną wymianę kluczy kryptograficznych.

Podpisywanie wiadomości HTTP według standardu RFC 9421 polega na utworzeniu bazy podpisu (signature base), czyli ściśle sformatowanego ciągu tekstowego. W standardzie Web Bot Auth chronione komponenty obejmują identyfikator hosta docelowego @authority oraz nagłówek signature-agent wskazujący domenę bota.

Struktura bazy podpisu składa się z kolejnych wierszy zawierających nazwy komponentów i ich znormalizowane wartości. Na końcu dołączany jest wiersz @signature-params ze specyfikacją parametrów:

• created: znacznik czasu UNIX momentu utworzenia podpisu.
• expires: czas wygaśnięcia podpisu, domyślnie po 5 min.
• keyid: unikalny identyfikator klucza JWK thumbprint.
• alg: nazwa algorytmu kryptograficznego, czyli ed25519.
• tag: etykieta protokołu o stałej wartości web-bot-auth.

Podpis binarny jest następnie kodowany w formacie base64 i przesyłany w nagłówku Signature.

Generator kluczy Web Bot Auth działa w całości po stronie klienta przy użyciu natywnego interfejsu Web Crypto API. Klucze kryptograficzne Ed25519 są generowane lokalnie w pamięci przeglądarki i nigdy nie są przesyłane na żaden zewnętrzny serwer.

Po odświeżeniu lub zamknięciu karty przeglądarki wygenerowany klucz prywatny bezpowrotnie znika. Dlatego po wygenerowaniu należy natychmiast skopiować lub pobrać klucz prywatny w formacie JWK lub PKCS#8 PEM i zapisać go w bezpiecznym menedżerze sekretów.

Nigdy nie wolno publikować klucza prywatnego ani ujawniać parametru d z obiektu JWK. W publicznym katalogu kluczy umieszcza się wyłącznie parametry klucza publicznego, czyli crv oraz x.

Wdrożenie Web Bot Auth rozwiązuje problem weryfikacji tożsamości bota, ale nie zastępuje reguł uprawnień. Podpis kryptograficzny potwierdza, do kogo należy dany crawler, natomiast zasady dotyczące tego, jakie podstrony robot może odwiedzać, określa plik robots.txt.

Twórcy agentów sztucznej inteligencji mogą wykorzystać generator robots.txt dla botów AI, aby przygotować oczekiwane dyrektywy dostępu dla konkretnych botów, a poprawność wdrożonych reguł zweryfikować za pomocą narzędzia tester robots.txt. Integracja uwierzytelniania Web Bot Auth z poprawnie skonfigurowanymi regułami dostępu pozwala uniknąć fałszywych blokad przez zapory sieciowe WAF i zapewnia pełną transparentność ruchu internetowego.