Web Bot Auth ve HTTP İleti İmzalama Anahtarı Üretici

Arama motorları, yapay zeka tarayıcıları ve otomatik veri toplama botları internet sitelerini ziyaret ederken geleneksel olarak User-Agent başlığı veya IP adresi listeleriyle kendilerini tanıtır. Ancak HTTP başlıkları kolayca taklit edilebilir ve IP adresleri sürekli değiştiği için bu yöntemler güvenilmez hale gelmiştir. Web Bot Auth, bot operatörlerinin isteklerini kriptografik olarak imzalamasını sağlayan yeni nesil bir standart taslağıdır. IETF bünyesinde geliştirilen bu yaklaşım, RFC 9421 HTTP Message Signatures standardını temel alır. Bot, gönderdiği her HTTP isteğini kendi özel anahtarıyla imzalar. İstek alan web sunucusu ise botun origin adresinde yayınlanan genel anahtar dizinini kontrol ederek isteğin gerçekten iddia edilen kuruluşa ait olduğunu matematiksel kesinlikle doğrular.

Web Bot Auth Anahtarı Üretici, istemci ve sunucu tarafında ihtiyaç duyulan tüm teknik bileşenleri tek işlemde hazırlar:

1. Key ID (Anahtar Kimliği): RFC 7638 ve RFC 8037 kurallarına göre genel anahtarın SHA-256 özeti üzerinden hesaplanan benzersiz JWK thumbprint değeridir. İmzaların eşleştirilmesinde kullanılır.
2. Özel Anahtar: İstekleri imzalamak için bot tarafında tutulan Ed25519 anahtarıdır. JWK ve PKCS#8 PEM formatlarında sunulur.
3. Genel Anahtar: Doğrulayıcıların kullanabilmesi için SPKI PEM ve JWK formatlarında dışa aktarılır.
4. Dizin JSON Dosyası: Web sitenizde yayınlanacak olan ve sadece genel anahtar bilgilerini içeren standart yapılandırma dosyasıdır.
5. Örnek İmza Tabanı: RFC 9421 uyumlu imzalayıcı yazılımlarınızı test ederken bayt düzeyinde referans alabileceğiniz açık metin dizilimidir.

Botunuzun kimliğini web sunucularına kanıtlayabilmesi için genel anahtarınızı standart bir uç noktada sunmanız gerekir. Bu adres, botunuzun resmi alan adında yer alan /.well-known/http-message-signatures-directory konumudur. Yayınlama sürecinde dikkat edilmesi gereken temel unsurlar şunlardır:

• Sunucu yanıtı Content-Type: application/http-message-signatures-directory+json başlığı ile dönmelidir.
• Dizin dosyasında asla gizli d parametresi bulunmamalı, sadece genel parametreler yer almalıdır.
• Anahtar için geçerlilik başlangıcı (nbf) ve bitişi (exp) değerleri isteğe bağlı olarak Unix zaman damgasıyla tanımlanabilir.
• Üretim ortamında dizin yanıtının kendisi de 24 sa. gibi kısa süreler için imzalanarak DNS ve içerik dağıtım katmanlarındaki sahtecilik riskleri engellenmelidir.

Bir HTTP isteği imzalanırken belirli bileşenler bir araya getirilerek imza tabanı (signature base) oluşturulur. Web Bot Auth profilinde zorunlu kapsanan bileşenler arasında @authority sözde başlığı ve signature-agent başlığı yer alır. İmzanın meta verileri Signature-Input başlığında tanımlanır:

• created: İmzanın atıldığı Unix zaman damgası.
• expires: İmzanın süresinin dolacağı zaman; genellikle istek oluşturulduktan sonraki 5 dk. için geçerlidir.
• keyid: Dizin dosyasındaki anahtar kimliği.
• alg: Standart olarak belirlenen ed25519 algoritması.
• tag: İmza profilini niteleyen web-bot-auth etiketi.

Oluşturulan imza tabanı özel anahtarla şifrelenir ve üretilen bayt dizisi Signature başlığında Base64 kodlama formatıyla taşınır.

Kriptografik kimlik doğrulama sistemlerinde güvenlik, özel anahtarın (private key) tamamen gizli kalmasına bağlıdır. Web Bot Auth Anahtarı Üretici, anahtarları yerel tarayıcınızın Web Crypto arayüzünü kullanarak cihazınızda üretir. Üretilen özel anahtar hiçbir zaman uzak bir sunucuya iletilmez veya kayıt altına alınmaz. Sayfa yenilendiğinde bellekteki anahtarlar silinir. Bu sebeple üretilen JWK veya PKCS#8 PEM dosyasını güvenli bir anahtar kasasında (secret manager) saklamanız gerekir. Web sunucunuzdaki genel dizin dosyasında kesinlikle d anahtar parametresinin yer almadığından emin olmalısınız.

Web Bot Auth sistemi bir isteğin gerçekten iddia edilen bota ait olduğunu kanıtlar, ancak o botun hangi sayfaları tarama yetkisi olduğunu belirlemez. Kimlik doğrulama (authentication) ile yetkilendirme (authorization) birbirini tamamlayan iki ayrı katmandır. Kimliği doğrulanan bir botun sitenizde nereleri tarayabileceği AI crawler robots.txt kuralları ile belirlenir. Yapılandırdığınız erişim kurallarının beklendiği gibi çalıştığını doğrulamak için robots.txt test aracı kullanabilirsiniz. Kriptografik imzalama ile standart erişim kurallarının birlikte uygulanması, bot operatörleri ile site sahipleri arasında güvenilir ve şeffaf bir web ekosistemi oluşturur.