Web Bot Auth 키 생성기: Ed25519 JWK 및 PEM 생성

전통적인 웹 크롤러와 AI 에이전트는 User-Agent 문자열이나 IP 화이트리스트를 통해 신원을 증명해 왔습니다. 하지만 이러한 방식은 위조가 매우 쉽고 유지보수가 어렵다는 치명적인 단점이 있습니다. 공격자가 합법적인 봇의 User-Agent를 도용하거나 IP 대역을 임의로 변경하면 서버는 이를 구별할 수 없습니다. Web Bot Auth는 이러한 문제를 해결하기 위해 고안된 IETF 인터넷 초안 표준입니다. 이 표준은 HTTP Message Signatures(RFC 9421)를 기반으로 하며, 봇이 각 요청에 암호학적 서명을 추가하도록 요구합니다. 서버는 봇이 사전에 게시한 공개키를 통해 서명을 검증함으로써 요청의 진위 여부를 수학적으로 입증할 수 있습니다. Web Bot Auth 키 생성기를 사용하면 브라우저 환경에서 Ed25519 키 쌍을 안전하게 생성하고, 이 표준을 즉시 적용하기 위한 모든 설정 값을 한 번에 얻을 수 있습니다. 현재 이 기술은 초안 단계이지만, 이미 많은 주요 검색 엔진과 AI 플랫폼이 봇 신원 확인을 위한 차세대 표준으로 채택을 준비하고 있습니다.

Web Bot Auth 키 생성기는 단순한 키 쌍 생성을 넘어, 실제 운영 환경에 필요한 모든 구성 요소를 하나의 초기 설정 키트로 제공합니다. 생성기를 실행하면 여러 개의 출력 카드가 순차적으로 나타납니다. 첫 번째는 키 ID로, RFC 8037과 RFC 7638에 정의된 JWK thumbprint 방식을 사용해 SHA-256 해시를 base64url로 인코딩한 값입니다. 이 값은 모든 서명의 keyid 파라미터로 사용됩니다. 두 번째는 키 디렉터리 JSON으로, 공개키 정보와 선택적 유효 기간을 포함합니다. 세 번째는 디렉터리 응답 헤더로, 24시간 유효한 샘플 서명이 포함되어 있습니다. 네 번째와 다섯 번째는 각각 JWK 및 PKCS#8 PEM 형식의 개인키와 SPKI PEM 형식의 공개키입니다. 마지막으로 서명된 예제 요청과 curl 명령어, 그리고 정확한 Signature Base 텍스트가 제공됩니다. 이 Signature Base는 커스텀 서명 로직을 디버깅할 때 바이트 단위의 정확한 참조점으로 활용됩니다. 모든 데이터는 브라우저의 Web Crypto API를 통해 로컬에서 생성되며, 외부 서버로 전송되지 않습니다.

생성된 공개키를 서버에 알리기 위해서는 특정 경로에 키 디렉터리를 게시해야 합니다. 클라이언트는 항상 /.well-known/http-message-signatures-directory 경로에서 키 정보를 조회합니다. 이 엔드포인트는 반드시 올바른 미디어 타입을 반환해야 하며, 응답 자체도 HTTP Message Signatures를 사용해 서명되어야 합니다. 개발 환경에서는 생성기가 제공하는 샘플 헤더를 그대로 사용할 수 있지만, 프로덕션 환경에서는 서버가 응답을 생성할 때마다 매번 새로운 서명을 계산하여 추가해야 합니다. 키 디렉터리 JSON에는 nbf와 exp 클레임을 포함하여 키의 유효 기간을 명시할 수 있습니다. 키 순환은 보안 유지를 위한 핵심 절차입니다. 30일, 90일, 365일 중 적절한 유효 기간을 선택하거나, 만료일을 설정하지 않을 수도 있습니다. 유효 기간을 짧게 설정하면 키가 유출되더라도 피해 범위를 줄일 수 있지만, 디렉터리를 더 자주 업데이트해야 하는 운영 부담이 따릅니다. 반대로 만료일을 설정하지 않으면 관리가 편하지만, 정기적인 키 순환 프로세스를 별도로 구축해야 합니다.

HTTP 요청에 서명하는 과정은 RFC 9421 규격을 따릅니다. 서명 대상이 되는 컴포넌트와 파라미터는 Signature-Input 헤더에 정의됩니다. 여기에는 서명 생성 시간, 만료 시간, 키 식별자, 알고리즘, 일회용 난수, 그리고 태그가 포함됩니다. Web Bot Auth의 경우 tag 값으로 web-bot-auth를 사용하여 이 서명이 봇 인증 목적임을 명시합니다. 서명 베이스는 이러한 컴포넌트와 헤더 값을 특정 규칙에 따라 줄바꿈 문자로 연결한 평문 텍스트입니다. 개인키는 이 서명 베이스에 대해서만 Ed25519 서명을 수행합니다. 서명 검증이 실패하는 가장 흔한 원인은 클라이언트와 서버가 구성하는 서명 베이스 텍스트가 바이트 단위로 일치하지 않기 때문입니다. 생성기가 제공하는 예제 요청의 @authority와 signature-agent 포함 범위, 그리고 정확한 Signature Base 텍스트를 참고하면 자체 서명 라이브러리를 구현할 때 발생하는 불일치 문제를 쉽게 파악할 수 있습니다. 서명의 기본 유효 기간은 5분으로 설정되어 있어 재생 공격을 방지합니다.

Web Bot Auth 키 생성기의 가장 큰 장점은 개인키가 사용자의 브라우저를 떠나지 않는다는 점입니다. Web Crypto API가 로컬에서 Ed25519 키를 생성하므로, 서버 기반 생성기에 시크릿을 붙여넣을 때 발생할 수 있는 유출 위험이 원천적으로 차단됩니다. 페이지를 새로고침하면 키가 사라지도록 설계되어 있으므로, 생성 직후 JWK 또는 PEM 형식으로 개인키를 다운로드하여 안전한 시크릿 관리 시스템에 저장해야 합니다. JWK 형식에서 개인키 값은 d 파라미터에 저장되므로, 이 값이 절대 공개키 디렉터리나 로그에 노출되지 않도록 각별히 주의해야 합니다. 암호학적 서명은 봇의 신원을 증명하지만, 해당 봇이 어떤 콘텐츠를 읽을 수 있는지를 결정하는 것은 별도의 접근 제어 파일입니다. 봇의 크롤링 범위를 정의하려면 robots.txt 규칙 생성 도구를 활용하고, 설정한 규칙이 의도대로 작동하는지 robots.txt 테스트 도구를 통해 검증하는 것이 좋습니다. 서명을 통한 신원 증명과 접근 제어 파일의 결합은 AI 에이전트와 웹 서버 간의 신뢰할 수 있는 통신 환경을 완성합니다.