安居客检测到网页抓取_原创内容不收录 解决网站抓取异常的有效分析方法

有的网站明明内容优质原创,用户可以正常访问,但偏偏网络蜘蛛无法正常访问抓取导致无法被收录,搜索结果覆盖率偏低,对搜索引擎和网站都是一种损失,这种情况就是抓取异常。对于大量内容无法正常抓取的网站,搜索引擎会以为网站存在用户体验上的缺陷,并降低对其的评价,在抓取、索引、排序上必然受到一定的负面影响,最终影响到网站从搜索引擎获取的流量。下面,小编总结了一些常见导致搜索引擎蜘蛛抓取异常的原因,供大家参考。

545ec552fb09786bfc8285fdff4e6cef.png

一.服务器连接异常

服务器连接异常一般有两种:一种是暂时无法连接,另一种是一直无法连接。对于用户来说,一个连接异常的服务器是他们是不会逗留的,网络蜘蛛同样如此,服务器连接异常的网站会被网络蜘蛛判断排除,导致抓取异常。造成服务器连接异常的原因通常是网站服务器过大,超负荷运转,通过检查浏览器是否正常访问。服务器异常会导致蜘蛛无法连接网站服务器,导致出现抓取失败。。网站和主机还可能阻止了网络蜘蛛的访问,需要检查网站和主机的防火墙。选择一款安全稳定,性能好的服务器是网站优化的根本前提。

091fbf46e2e3a89ac678f4342cc80db6.png

二.抓取超时

网站页面的加载速度一直是不可忽视的重点,对用户和搜索引擎的体验有着举足轻重的影响。用户访问页面时如果不能在第一时间打开页面,那么就会丧失兴趣,而跳到其他网站上去。而蜘蛛呢?同样如此,如果无法第一时间抓取,就会出现抓取超时问题了。 抓取超时,往往是因为带宽不足,以及页面太大而导致的。因此设计页面时应该对网页上的图片进行压缩;减少一些脚本的使用;控制页面长度和内链数量,可以在一定程度上缩减页面,减少服务器上的负担,缓解服务器过载的情况。

三. 网络运营商异常

国内主要的网络运营商有电信和联通。如果网络蜘蛛无法通过电信或联通的网络访问网站,则需要与网络运营商联系,购买拥有双线服务的空间,或者购买CDN服务。

四. DNS异常

当网络蜘蛛无法解析网站的IP地址,会出现DNS异常,这可能是由网址出现了IP地址错误,或者域名服务商将网络蜘蛛封禁的其中一种情况导致的。可以使用WHOIS或者host查询网站IP地址是否正确且可解析,如果不正确或无法解析,应与域名注册商联系,更新IP地址。

1959999ce17d3fa6fb186f04bcc67cbd.png

五. 设置错误

包括IP封禁和UA封禁。IP禁封是指限制网络的出口IP地址,禁止该IP段的使用者进行内容访问。而UA禁封则是针对服务器通过UA(用户代理)识别身份后的用户进行指定的跳转。这两种封禁都会导致网络蜘蛛无法正常到访抓取。应该识别设置是否误添加了相关搜索引擎网络蜘蛛的封禁。

六. 死链

死链就是页面已经无效,无法对用户提供任何有价值信息的页面,包括协议死链和内容死链两种形式:一种是协议死链:页面的TCP协议状态/HTTP协议状态明确表示的死链,常见的如404、403、503状态等。另一种内容死链:服务器返回状态是正常的,但内容已经变更为不存在、已删除或需要权限等与原内容无关的信息页面。目前内容死链召回存在召回率的风险,所以建议各位站长尽量使用协议死链,以保证平台工具更好地发挥其作用。死链可通过死链工具提交给搜索引擎,减速死链造成的负面影响。

七.网站被挂马

网站被挂马也可能导致抓取异。查询挂马文件在哪里并删除,恢复网站,做好安全防范措施,防止下次被挂马。

216d2e1c4edb97e45dcdc703d2f662a1.png

各位站长平时要多多查看自己网站的网络蜘蛛抓取情况。如果发现偶尔抓取失败,则属于正常情况,不会对网站的正常抓取和收录造成影响。但如果抓取失败出现持续性的,则要引起注意了,根据网站出现抓取异常的具体原因做上述具体的分析。各位如果对网络蜘蛛抓取异常还存在其他疑问可以咨询【中网网络客】。

之后文章将会持续更新,为大家提供有质量的文章,尽情关注【中网网络客】

原文链接:https://blog.csdn.net/weixin_39744512/article/details/111110517

© 版权声明
THE END
喜欢就支持一下吧
点赞6 分享