易网

 找回密码
 快速注册

QQ登录

搜索

高手告诉你百度蜘蛛是如何抓取域名的 打印

发布者: 发如雪(ID:72041) | 发布时间: 2019.6.27 11:37| 查看数: 200213| 评论数: 52|帖子模式


  这里很多Seo高手,都知道外链和内容。这些用不到我们分享,今天只讲蜘蛛。因为,这是我在给他们公司培训的时候发现的一个很严重的问题:他们都听说过蜘蛛,知道蜘蛛是干什么的,但是不知道蜘蛛是怎么工作的。

  一、蜘蛛的来路有哪些,它是怎么到你的网站的

  通常来说,蜘蛛的可以通过三种途径到达你的网站,分别是主要提交网站,通过在其他网站的连接跟踪到你的网站,有一定规律的自由行动。

  很多人都说现在蜘蛛很智能不用提交网站了,其实错了,是因为你在其他网站发布的外链引来的蜘蛛。这两种形式都是可操作的,最后一种比较特别,我们通常会认为蜘蛛会按照1-0,a-z 这样的方式对域名进行扫描,然后进入其中的网站。

  二、最大程度的利用你网站域名下的Robots,这是网站大门

  按照常规的说法,Robots文件是限制蜘蛛在你网站的活动范围,更好的保护网站所有者的权利和隐私。这是蜘蛛到达一个网站后要做的第一件事情,如果一个网站没有该文件,蜘蛛则认为是该网站所有的内容均可挖掘。

  在Robots文件中,一般只用到禁止(Disallow)。其实你还可以用推荐允许(Allow)。一个网站中有很多暗角是蜘蛛不能爬行到的,这时候,你可以用Allow指引蜘蛛,你可以多做一些地图页面,让蜘蛛在上面活动。

  也有人说,为什么要用Allow,直接使用Sitemap不就可以了么。我们都知道,其实大家更看重的Sitemap,谷歌是完全没问题的,而百度蜘蛛理解起来是有一定问题的,不能很好的发挥他的作用。

  三、蜘蛛在一个网站域名内(domain)的活动方式

  相信大家都看过百度给出的《搜索引擎优化指南》,郑州智启网路科技推荐没有看到的Seo们一看要去看看,他上面有提到自己更推荐的Url方式,树形和扁平。你只知道这样有助于优化,却不知道为什么这么做。

  蜘蛛在一个特定域内遵循两个原则,广度和深度。其中我们认为广度优先,蜘蛛一般不会在一个特定域内在纵深上爬行太多。蜘蛛会在一个页面出来完成的时候再进入下一个内链信息丰富的页面。做成频道页和列表页,能够让蜘蛛更顺畅的去爬行一个网站。

  其实不一定非要把一个网站做成domain/url_a/ 这种形式,也完全可以是domain/url_a.html 只要你的页面丰富程度和上一个一样就行。这里说的丰富不是内容,是内链。

  四、蜘蛛在一个网站的权限等同于一个普通未注册会员

  这个简单提一下,蜘蛛就等同于一个网站的未注册会员,他的权限就是这个,如果你的网站不对未注册会员开放,或者设置了隐私权限,只对会员的好友,或者其他什么,那么蜘蛛是不可能抓取到你的内容的。

  这也是,外链发布要做到多样性的重要原因之一,让蜘蛛从更多不同的角度去理解你的网站。

最新评论

桔子 发表于 2020.11.21 19:32
支持!!
七年 发表于 2020.9.11 04:32
已阅
day 发表于 2020.8.24 22:18
易网有您更精彩!
别样的天空 发表于 2020.8.14 07:15
不错,支持一下

黑名单|易网 ( 鄂ICP备18012961号 ) 站长QQ 易网QQ群

GMT+8, 2020.12.2 15:15 , Processed in 0.069878 second(s), 19 queries , File On.

Powered by Discuz!

© 2012-2019 eaeb.com

快速回复 返回顶部 返回列表