Gỡ lỗi mạng và lỗi DNS cho trình thu thập thông tin của Google

Các lỗi mạng và lỗi DNS nhanh chóng gây ảnh hưởng tiêu cực đến việc Google có thể thu thập thông tin thành công một URL hay không. Googlebot xử lý lỗi thời gian chờ, lỗi đặt lại kết nối và lỗi DNS tương tự như cách xử lý lỗi máy chủ 5xx. Trong trường hợp có lỗi mạng, tốc độ thu thập thông tin ngay lập tức bắt đầu chậm lại, vì lỗi mạng là dấu hiệu cho thấy máy chủ có thể không xử lý được khối lượng tải phân phát. Do Google không kết nối được với máy chủ lưu trữ trang web, Google cũng chưa nhận được bất kỳ nội dung nào qua máy chủ.

Đối với Google Tìm kiếm, nếu thiếu nội dung thì Google không thể lập chỉ mục các URL đã thu thập thông tin, đồng thời những URL đã được lập chỉ mục nhưng không truy cập được sẽ bị xoá khỏi chỉ mục của Google trong vòng vài ngày. Search Console có thể tạo lỗi cho từng lỗi tương ứng.

Gỡ lỗi mạng

Những lỗi này xảy ra trước hoặc trong khi Google thu thập thông tin URL. Lỗi có thể xảy ra trước khi máy chủ phản hồi nên không có mã trạng thái nào báo hiệu được vấn đề. Do đó, có thể việc chẩn đoán những lỗi này sẽ khó khăn hơn. Để gỡ lỗi thời gian chờ và lỗi đặt lại kết nối:

  • Kiểm tra nhật ký và chế độ cài đặt tường lửa. Có thể do một bộ quy tắc chặn có phạm vi quá rộng. Hãy đảm bảo rằng không có quy tắc tường lửa nào chặn địa chỉ IP của Googlebot.
  • Kiểm tra lưu lượng truy cập mạng. Hãy dùng những công cụ như tcpdump và Wireshark để thu thập và phân tích các gói TCP, đồng thời tìm những điểm bất thường do một thành phần mạng hoặc mô-đun máy chủ cụ thể gây ra.
  • Nếu bạn không thấy gì đáng ngờ, hãy liên hệ với công ty lưu trữ.

Lỗi có thể nằm trong bất cứ thành phần máy chủ nào đang xử lý lưu lượng truy cập mạng. Ví dụ: giao diện mạng bị quá tải có thể làm mất gói, từ đó gây ra lỗi thời gian chờ (không thể thiết lập kết nối) và lỗi đặt lại kết nối (gói RST được gửi đi vì có cổng bị đóng nhầm).

Gỡ lỗi DNS

Cấu hình sai là nguyên nhân thường gặp nhất gây ra các lỗi DNS, nhưng các lỗi này cũng có thể xảy ra do một quy tắc tường lửa chặn các truy vấn DNS của Google. Để gỡ lỗi DNS, hãy làm như sau:

  • Kiểm tra các quy tắc tường lửa. Hãy đảm bảo rằng không có quy tắc tường lửa nào chặn bất cứ IP nào của Google, và cả yêu cầu UDP lẫn TCP đều được cho phép.
  • Kiểm tra các bản ghi DNS của bạn. Kiểm tra kỹ để đảm bảo rằng các bản ghi A và CNAME của bạn đang lần lượt trỏ đến đúng địa chỉ IP và tên máy chủ. Ví dụ: 
    dig +nocmd example.com a +noall +answer
     
    dig +nocmd www.example.com cname +noall +answer
  • Kiểm tra để đảm bảo rằng tất cả máy chủ định danh đang trỏ đến đúng địa chỉ IP trang web của bạn. Ví dụ: 
    dig +nocmd example.com ns +noall +answer
example.com.    86400  IN  NS  a.iana-servers.net.
example.com.    86400  IN  NS  b.iana-servers.net.
dig +nocmd @a.iana-servers.net example.com +noall +answer
example.com.    86400  IN  A  93.184.216.34
dig +nocmd @b.iana-servers.net example.com +noall +answer
...
  • Nếu từng thực hiện thay đổi với cấu hình DNS trong vòng 72 giờ qua, có thể bạn sẽ phải chờ những thay đổi này có hiệu lực trên toàn bộ mạng DNS. Để tăng tốc độ áp dụng thay đổi, bạn có thể xoá bộ nhớ đệm DNS công khai của Google.
  • Nếu bạn đang tự chạy máy chủ DNS của mình, hãy đảm bảo máy chủ hoạt động tốt và không bị quá tải.