什么是搜索引擎蜘蛛？
搜搜引擎蜘蛛是一个自动抓取互联网上网页内容的程序，每个搜索引擎都有自己的蜘蛛。 搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。 国内各大搜索引擎蜘蛛名称： 百度：百度spider 谷歌：googlebot 搜狗：sogou spider 搜搜：Sosospider 360搜索：360Spider 有道：YodaoBot 雅虎：Yahoo Slurp 必应：msnbot Msn:msnbot 以上是常见的搜索引擎蜘蛛（爬虫），如果你的网站不想让让某些蜘蛛抓取，那么可以通过robots.txt来限制爬虫的抓取。
搜索引擎“蜘蛛”是指什么？
1.spider对一个网站服务器造成的访问压力如何？
答：uspider会自动根据服务器的负载能力调节访问密度。在连续访问一段时间后，、spider会暂停一会，以防止增大服务器的访问压力。所以在一般情下，对您网站的服务器不会造成过大压力。
2.为什么spider不停的抓取我的网站？
答：对于您网站上新产生的或者持续更新的页面，spider会持续抓取。此外，您也可以检查网站访问日志中spider的访问是否正常，以防止有人恶意冒充spider来频繁抓取您的网站。
3.我不想我的网站被spider访问，我该怎么做？
答：spider遵守互联网robots协议。您可以利用robots.txt文件完全禁止spider访问您的网站，或者禁止spider访问您网站上的部分文件。
4.为什么我的网站已经加了robots.txt，还能在百度搜索出来？
答：因为搜索引擎索引数据库的更新需要时间。虽然spider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要二至四周才会清除。 另外也请检查您的robots配置是否正确。
5.我希望我的网站内容被百度索引但不被保存快照，我该怎么做？
答：spider遵守互联网meta robots协议。您可以利用网页meta的设置，使百度显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。
和robots的更新一样，因为搜索引擎索引数据库的更新需要时间，所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照，但百度搜索引擎数据库中如果已经建立了网页索引信息，可能需要二至四周才会在线上生效。
6.Baiduspider多长时间之后会重新抓取我的网页？
答：百度搜索引擎每周更新，网页视重要性有不同的更新率，频率在几天至一月之间，Baiduspider会重新访问和更新一个网页。
7.Baiduspider抓取造成的带宽堵塞？
答：Baiduspider的正常抓取并不会造成您网站的带宽堵塞，造成此现象可能是由于有人冒充baidu的spider恶意抓取。如果您发现有名为Baiduspider的agent抓取并且造成带宽堵塞，请尽快和我们联系。您可以将信息反馈至百度网页投诉中心，如果能够提供您网站该时段的访问日志将更加有利于我们的分析。
搜索引擎的蜘蛛爬虫是怎么样抓取页面的
搜索引擎把蜘蛛分为三种级别：1、初级蜘蛛;2、中级蜘蛛;3，高级蜘蛛。 这三种蜘蛛分别具有不同的权限，我们一一讲解。
①、高级蜘蛛。
高级蜘蛛负责去爬行权重比较高的网站，高级蜘蛛有专门的权限，就是秒收。这就是为什么你去权重比较高的论坛发帖，会被搜索引擎直接秒收了。高级蜘蛛爬行深度也是非常的高，他几乎能够爬行到你网站的所有链接页面，高级蜘蛛的来访频率也很高，几乎每天都会来访，这样就完全加快了百度快照的更新频率。这就是为什么这么多站长一直在不断努力的提高权重的原因。
②、中级蜘蛛。
中级蜘蛛通过爬行外链和反链(友情链接)来到你的网站，然后再从你的网站爬行，从而抓取你网站的内容，然后把抓取的到的内容，和搜索引擎数据库中原来的数据一一进行对比，看看是否是原创内容、伪原创内容、还是直接采集的内容，从而确定要不要放出来。所以说，我们在高权重的论坛发软文和有锚文本签名是可以很有效的引来蜘蛛的光顾。
③、初级蜘蛛。
初级蜘蛛就简单了，它一般情况只去爬行新站，爬行深度也很低，它抓取到网页的内容后，会一级一级的提交到搜索引擎数据库，然后先把数据存放起来，再过几天再来爬行，直到搜索引擎觉得爬行到的内容是有价值的才会被放出来。这就是为什么新站都有一个考核期，因为都是一些初级蜘蛛在光顾，所以特别的慢，一般情况爬行深度也很低，有时候只爬了一个首页就完事了。
搜索引擎蜘蛛对搜索引擎来说就是信息来源所在，对于网站站长，总是希望网站对搜索引擎蜘蛛友好，希望蜘蛛能在自己的网站多待会多抓取点网页。其实这些蜘蛛又何尝不想多抓取点页面，多更新点页面呢，只不过互联网信息过于巨大，有时候蜘蛛也是力不能及。这就引出了对搜索引擎蜘蛛的一个考核，蜘蛛每天也是在苦逼的干活的，也是需要考核评价的，其中有3个最主要的考核标准:抓取网页覆盖率、抓取网页时效性及抓取网页的重要性。
搜索引擎如何对网站进行爬行和抓取
当搜索引擎蜘蛛准备爬行某个网页的时候，会对服务器发出访问申请，申请通过后，搜索引擎会先去爬行网站的robots.txt文件，针对robots.txt文件中所禁止搜索引擎抓取的局部，搜索引擎将不会去抓取。接着服务器就会给搜索引擎返回当前页面的html代码，现在有很多的站长工具中都会有模仿蜘蛛抓取网页代码的功能，大家有兴趣可以去查询，这里值得注意的就是页面代码中汉字所占的比例，因为搜索引擎在预处置阶段会把汉字局部筛选进去分析网页的内容和关键词，汉字所占比例越多说明网页返回的有效信息越多，越有利于搜索引擎对页面的分析。这也就是为什么大家在编写网站代码的时候，会对CSS和Javascript代码进行外部调用，对图片要添加alt属性，对链接要添加titl属性的缘故，都是为了降低页面代码所占的比例，提高文字所占比例，当然相关性也是一方面。
搜索引擎爬行网页都是沿着链接进行爬行的爬行网页的时候并不是一个蜘蛛在爬行，一般都是由多个蜘蛛进行爬行，爬行的方式有两种，一种是深度爬行，一种是广度爬行，两种方式都可以爬遍一个网站的所有链接，通常都是两种方式并行的但实际上由于资源的限制，搜索引擎并不会爬遍一个网站的所有链接。
既然搜索引擎不可能爬遍整个网站的所有链接，那么作为seo人员来说，接下来的工作就是要吸引蜘蛛尽可能多的去爬行网站链接，为蜘蛛的爬行发明轻松便当的环境，尤其是针对一些重要的链接，那么对于一个网站来说如何去吸引蜘蛛呢？影响蜘蛛爬行的因素有哪些呢？
1.网站的权重
一个权重高的网站，蜘蛛往往会爬行的很深，关于如何提高网站的权重。
2.页面是否经常更新
这是一个老生常谈的问题了虽然网站的更新和维护工作异常的辛苦，但是没办法，人家搜索引擎就喜欢新鲜的血液，如果网站的更新比较勤快的话，搜索引擎自然来的也勤快，来的多了新链接被抓取的几率当然也就大了
3.高质量导入链接
一个页面的导入链接相当于页面的入口，原理很简单，导入链接多了搜索引擎进入你网页的渠道也就多了如果是一条高质量的导入链接，那么搜索引擎对网页链接爬行的深度也会增加。
4.与首页距离越近的链接，被爬行的几率越大
一个网站的首页是权重最高的那么距离它越近的页面，被赋予的权重也会越高，被蜘蛛爬行的几率当然越大，这是网站seo优化中常用到一个就近原理，可以应用到很多方面，比如网站的主导航中第一个栏目比最后一个栏目的权重高，距离锚文本越近的文字是搜索引擎重点照顾的地方等等。
当搜索引擎对页面进行抓取之后，会将页面中的链接解析出来，通过与地址库中的链接进行匹配对比分析，将没有进行爬行的新链接放入到待访问地址库，然后派出蜘蛛对新链接进行爬行。
搜索引擎对网页进行爬行和抓取的时候，并不是进行简单的爬行和抓取工作，而是同时并发有大量的其他操作，其中很重的一项工作就是对网页内容进行检测，通过截取网页上的内容与数据库中的信息做对比，如果是一些权重比较低的网站出现大量转载或者伪原创，可能蜘蛛爬行到一半就会离开，这也就是为什么通过网站日志看到有蜘蛛来，但是页面没被收录的原因。所以说，即使是进行伪原创，也是需要一定的技巧的除非你网站权重特别高。
