Cập nhật tệp robots.txt

Để cập nhật các quy tắc trong tệp robots.txt hiện có, hãy tải một bản sao của tệp robots.txt xuống từ trang web của bạn rồi chỉnh sửa những chỗ cần thiết.

Tải tệp robots.txt xuống

Bạn có thể tải tệp robots.txt xuống theo nhiều cách, chẳng hạn như:

  • Chuyển đến tệp robots.txt (ví dụ: https://example.com/robots.txt) rồi sao chép nội dung của tệp này vào một tệp văn bản mới trên máy tính. Hãy đảm bảo rằng bạn tuân thủ các nguyên tắc liên quan đến định dạng tệp khi tạo tệp mới trên máy tính.
  • Dùng một công cụ như cURL để tải một bản sao thực tế của tệp robots.txt xuống. Ví dụ: 
    curl https://example.com/robots.txt -o robots.txt
  • Dùng Trình kiểm tra tệp robots.txt trong Search Console để tải một bản sao của tệp robots.txt xuống.
    1. Nhấp vào Gửi ở góc dưới cùng bên phải của trình chỉnh sửa tệp robots.txt. Thao tác này sẽ mở ra hộp thoại Gửi.
    2. Tải mã trong tệp robots.txt xuống qua trang Trình kiểm tra tệp robots.txt bằng cách nhấp vào Tải xuống trong hộp thoại Gửi.

Chỉnh sửa tệp robots.txt

Mở tệp robots.txt mà bạn đã tải xuống từ trang web trong trình chỉnh sửa văn bản rồi chỉnh sửa những nội dung cần thiết trong các quy tắc. Hãy đảm bảo rằng bạn dùng cú pháp chính xác và lưu tệp bằng phương pháp mã hóa UTF-8.

Tải tệp robots.txt lên

Tải tệp robots.txt mới lên thư mục gốc của miền dưới dạng một tệp văn bản có tên robots.txt. Cách thức tải tệp lên trang web phần lớn phụ thuộc vào nền tảng và máy chủ. Hãy tham khảo các mẹo của chúng tôi để xem thông tin trợ giúp về cách tải tệp robots.txt lên trang web.

Làm mới tệp robots.txt trong bộ nhớ đệm của Google

Trong quá trình thu thập dữ liệu tự động, trình thu thập dữ liệu của Google phát hiện các thay đổi bạn đã thực hiện đối với tệp robots.txt và cập nhật phiên bản đã lưu vào bộ nhớ đệm sau mỗi 24 giờ. Nếu bạn cần cập nhật bộ nhớ đệm nhanh hơn, hãy dùng chức năng Gửi của Trình kiểm tra tệp robots.txt.

  1. Nhấp vào Xem phiên bản đã tải lên để đảm bảo rằng tệp robots.txt đang hoạt động là phiên bản mà bạn muốn Google thu thập dữ liệu.
  2. Nhấp vào Gửi để thông báo cho Google rằng tệp robots.txt của bạn đã thay đổi và yêu cầu Google thu thập dữ liệu trong tệp đó.
  3. Kiểm tra xem Google đã thu thập được dữ liệu trên phiên bản mới nhất hay chưa bằng cách làm mới trang trong trình duyệt để cập nhật trình chỉnh sửa của công cụ và xem mã của tệp robots.txt đang hoạt động. Sau khi làm mới trang, bạn cũng có thể nhấp vào trình đơn thả xuống để xem dấu thời gian của thời điểm đầu tiên Google nhìn thấy phiên bản mới nhất của tệp robots.txt của bạn.