搜索引擎机器人

新站点不需要“提交”到搜寻引擎才能登记上市。一个来自于以建立好的、其他站点的简单连接就会让搜寻引擎拜访新站点，并且开始‘爬’过该站内容。它可能得花几天甚或几周从这样一个已建立站点取得连结，并使所有主要搜索引擎开始拜访并索引新站点。 　　一旦搜索引擎发现了新站点，它一般将拜访和开始索引该站，直到所有标准的 超链接被连接的页索引到为止。只能透过Flash或JavaScript才能拜访的链接可能不会被蜘蛛机器人找到。

　　当搜索引擎的蜘蛛机器人爬过一个站点时会取决相当数量的不同因子，并且该站的许多页可能不会被索引到除非它们网页级别、链接、或流量增加到一个程度。从站点的根目录到该页的距离，以及其它比重考量，也许也是决定是否该页得到检索的因素。Cho et al.(Cho et al. 1998) [6] 描述了哪些页会被拜访、哪些会收入搜寻引擎索引的决定标准。 　　网站员可透过在网域根目录里标准robots.txt档案指示蜘蛛机器人不索引某些文件或目录。标准的实现要求是搜索引擎在拜访这个网域时参考这个文件，虽然搜索引擎的蜘蛛机器人当它拜访某站点网页时将保留这个文件的快取拷贝，并且更新速度没像网站员那么快。网站发展人员可能使用这个特性防止某些页，譬如购物车或其它动态、特定使用者的内容出现在搜索引擎结果中，并且防止机器人进入死循环和其它机器人陷阱。 　　对于某些有偿提交的查寻引擎(像雅虎)，支付象征性费用提交也许会节省一些时间，虽然雅虎有偿提交方案不保证提交人/公司包括在他们的查寻结果中。

目前可以肯定的是蜘蛛机器人是非常聪明的，既能够识别好的内容网站，也能够识别作弊的网站！

SEO Learning Tour SEO 技术

天变坏 学习中 支持

呵呵，很到位！

蜘蛛是啥子东西

这个机器人的作用是防止搜索引擎抓取的

目前可以肯定的是蜘蛛机器人是非常聪明的，既能够识别好的内容网站，也能够识别作弊的网站！

智能遍历网页，俗称蜘蛛

围观一下

真有这玩意？好不好用？

来看看

http://www.docin.com/p-328491817.html

深圳地区最大净水器研发生产厂家，荣获十大净水器厂家。5月大酬宾，招商加盟优惠中！

现在百度识别原创的技术已经有了很大的进步，“起源”算法就是其中之一。