Trình tạo file llms.txt chuẩn cho AI

Tệp llms.txt là một bản đề xuất định dạng văn bản được giới thiệu bởi cộng đồng nghiên cứu AI nhằm giúp các mô hình ngôn ngữ lớn (LLM) và các tác tử tự động (AI agent) dễ dàng tiếp cận nội dung cốt lõi của một trang web. Khi các hệ thống AI truy cập một trang web thông thường, mã HTML chứa rất nhiều thông tin dư thừa như thanh điều hướng, chân trang, quảng cáo và các đoạn mã kịch bản. Điều này tiêu tốn nhiều tài nguyên xử lý và làm giảm dung lượng cửa sổ ngữ cảnh của mô hình.

Định dạng llms.txt giải quyết vấn đề này bằng cách tạo ra một tệp văn bản thuần túy viết bằng Markdown đặt tại đường dẫn gốc của tên miền. Tệp đóng vai trò như một bản mục lục thu nhỏ, tóm tắt mục tiêu chính của dự án và cung cấp danh sách các liên kết quan trọng nhất kèm lời chú thích ngắn gọn. Cần lưu ý rằng đây là một đề xuất mở mang tính tự nguyện từ cộng đồng, chưa phải là một tiêu chuẩn kỹ thuật bắt buộc từ các tổ chức chuẩn hóa web quốc tế.

Một tệp llms.txt tuân theo cấu trúc Markdown rõ ràng và có thứ tự chặt chẽ để các chương trình phân tích cú pháp tự động có thể xử lý chính xác.

Cấu trúc gồm các thành phần theo thứ tự:

1. Tiêu đề H1 duy nhất: Đặt ở dòng đầu tiên, đại diện cho tên trang web, sản phẩm hoặc dự án phần mềm.
2. Trích dẫn tóm tắt: Nằm ngay sau tiêu đề H1, sử dụng định dạng khối trích dẫn để nêu ngắn gọn chức năng của website trong phạm vi ngắn gọn.
3. Đoạn mô tả bổ sung: Các đoạn văn bản thông thường giải thích chi tiết hơn về dự án mà không sử dụng thêm bất kỳ tiêu đề con nào.
4. Các phân mục H2: Phân chia tài nguyên thành từng nhóm chuyên biệt, chẳng hạn như Hướng dẫn, Tài liệu API hoặc Chính sách. Dưới mỗi mục H2 là danh sách các liên kết được định dạng theo mẫu - [Tiêu đề](URL): Chú thích.
5. Mục Optional: Phân mục đặc biệt luôn nằm ở cuối cùng của tệp, chứa các tài liệu thứ cấp mà các mô hình AI có thể bỏ qua khi dung lượng bộ nhớ tạm thời bị hạn chế.

Công cụ Tạo file llms.txt hỗ trợ bạn xây dựng tệp tin chuẩn quy cách trực tiếp trên trình duyệt mà không cần cài đặt phần mềm hay tạo tài khoản.

Quy trình thực hiện bao gồm các bước sau:

1. Nhập tên trang web hoặc dự án vào ô tiêu đề H1 bắt buộc.
2. Điền câu tóm tắt chính vào ô mô tả ngắn gọn, độ dài tối ưu dưới 300 ký tự.
3. Nhập các đoạn văn giải thích thêm vào phần chi tiết nếu cần cung cấp thêm ngữ cảnh cho mô hình.
4. Tạo các phân mục H2 phù hợp với cấu trúc website và thêm từng liên kết với đầy đủ tiêu đề, đường dẫn URL bắt đầu bằng giao thức HTTP hoặc HTTPS, cùng phần chú thích nội dung.
5. Sử dụng nút thêm mục Optional nếu muốn liệt kê các tài liệu phụ.
6. Theo dõi bảng kiểm tra tự động để rà soát các cảnh báo như liên kết thiếu giao thức, mục bị bỏ trống hoặc phân mục Optional đặt sai vị trí.
7. Nhấn sao chép nội dung hoặc tải tệp llms.txt về máy tính, sau đó tải tệp lên thư mục gốc của máy chủ lưu trữ trang web.

Mục tiêu cốt lõi của llms.txt là tuyển chọn thông tin chất lượng cao thay vì đưa toàn bộ trang web vào danh sách. Việc biên soạn cần tập trung vào tính súc tích và tính ổn định của dữ liệu.

Khi viết phần ghi chú cho mỗi liên kết, hãy giải thích chính xác tài liệu đó giải quyết vấn đề gì thay vì chỉ sao chép lại tiêu đề bài viết. Ví dụ, thay vì ghi chú chung chung, hãy nêu rõ tài liệu chứa thông số kỹ thuật, hướng dẫn cài đặt từng bước hoặc bảng tra cứu mã lỗi.

Nên ưu tiên dẫn liên kết đến các trang tài liệu có cấu trúc văn bản rõ ràng, hạn chế liên kết đến các trang chứa quá nhiều hình ảnh hoặc bố cục phức tạp. Giữ độ dài câu tóm tắt trong khoảng dưới 300 ký tự giúp mô hình tiếp thu nhanh thông điệp chính. Định kỳ kiểm tra và cập nhật lại tệp mỗi khi website có sự thay đổi lớn về cấu trúc đường dẫn để tránh liên kết hỏng.

Việc có tệp llms.txt không đồng nghĩa với việc website sẽ được tăng thứ hạng tìm kiếm hay chắc chắn được các hệ thống AI trích dẫn câu trả lời. Đây là một công cụ hỗ trợ trải nghiệm đọc cho các công cụ AI lập trình và tác tử tự động khi người dùng yêu cầu chúng tra cứu tài liệu từ một tên miền cụ thể.

Để quản lý quyền thu thập dữ liệu một cách toàn diện, bạn nên kết hợp sử dụng trình tạo robots.txt cho AI để thiết lập quyền truy cập cho từng loại bot và kiểm tra tính hợp lệ bằng công cụ kiểm tra robots.txt. Đối với việc thúc đẩy các trang mới xuất hiện nhanh trên công cụ tìm kiếm, công cụ gửi URL IndexNow sẽ đảm nhiệm vai trò gửi thông báo tức thì đến các máy chủ tìm kiếm hỗ trợ giao thức này.