调试 Google 抓取工具的网络连接错误和 DNS 错误

网络连接错误和 DNS 错误会对 Google 是否能够成功抓取网址迅速产生负面影响。Google 处理网络超时、连接重置和 DNS 错误的方式与处理 5xx 服务器错误的方式类似。如果发生网络连接错误，抓取速度会立即开始减慢，因为网络连接错误表明服务器可能无法处理服务负载。由于 Google 无法访问托管网站的服务器，Google 也尚未从该服务器收到任何内容。

对于 Google 搜索，缺少内容意味着 Google 无法将已抓取的网址编入索引，并且系统会在几天内从 Google 索引中移除无法访问的已编入索引网址。Search Console 可能会针对每个相应的错误生成错误。

调试网络连接错误

这些错误会在 Google 开始抓取网址前或在 Google 抓取网址期间发生。由于错误可能会在服务器能响应之前发生，因此没有可提示问题的状态代码，诊断这些错误可能难度更大。如需调试超时和连接重置错误，请执行以下操作：

查看防火墙设置和日志。可能存在过于宽泛的屏蔽规则集。确保Google IP 地址未被任何防火墙规则屏蔽。
查看网络流量。使用 tcpdump 和 Wireshark 之类的工具捕获和分析 TCP 数据包，并查找指向特定网络组件或服务器模块的异常。
如果找不到任何可疑情况，请与您的托管公司联系。

错误可能发生在负责处理网络流量的任何服务器组件中。例如，过载的网络接口可能会丢弃导致超时（无法建立连接）的数据包并重置连接（由于端口被错误地关闭而发送 RST 数据包）。

调试 DNS 错误

导致 DNS 错误最常见的原因是配置错误，但也可能是由于防火墙规则阻止了 Google DNS 查询。如需调试 DNS 错误，请执行以下操作：

检查防火墙规则。确保没有任何 Google IP 被防火墙规则屏蔽，并且允许 UDP 和 TCP 请求。
查看 DNS 记录。请仔细检查您的 A 和 CNAME 记录是否分别指向正确的 IP 地址和主机名。例如：
```
dig +nocmd example.com a +noall +answer
```
```
dig +nocmd www.example.com cname +noall +answer
```

请检查您的所有域名服务器是否指向您网站的正确 IP 地址。例如：

dig +nocmd example.com ns +noall +answer
example.com.    86400  IN  NS  a.iana-servers.net.
example.com.    86400  IN  NS  b.iana-servers.net.
dig +nocmd @a.iana-servers.net example.com +noall +answer
example.com.    86400  IN  A  93.184.216.34
dig +nocmd @b.iana-servers.net example.com +noall +answer
...

如果您在过去 72 小时内更改了 DNS 配置，则可能需要等待更改传播到全球 DNS 网络。如需加快传播速度，您可以刷新 Google 的公开 DNS 缓存。
如果您运行的是自己的 DNS 服务器，请确保它运行状况良好，并且没有过载。