一个好的网站，不但要拥有好的排名，还要拥有足够的收录数量，不少站长朋友总是抱怨搜索引擎对自己网站的

　　收录率不够，有些站长朋友的网站收录率甚至不到百分之四十，他们会迷惑，我的文章是原创的啊，为什么百度

　　不进行收录呢?笔者通过分析网站日志，结果发现蜘蛛根本没有爬到那些页面，那么又如何会被收录呢?站长朋

　　友们可能会问到为什么蜘蛛不爬行呢?笔者认为这主要和网站的结构设置有关，笔者在这里，通过分析搜索引擎

　　的页面收录原理来解析网站结构的优化。

　　站长朋友们都了解，搜索引擎蜘蛛程序通过域名进入网站，从而开展对页面的抓取，蜘蛛从指定的页面出发，沿

　　着页面中的链接，按照某种特定的策略对网站中的页面进行遍历，收录未访问的网页，然后搜索引擎再对网页内

　　容进行判断，决定是否收录入数据库。

　　目前，常见的搜索引擎收录方式主要广度优先，深度优化和用户提交这几种方式，这几种方式的结合，从而让搜

　　索引擎蜘蛛最大化的能够遍历网站的所有页面，从而加以收录，但是如果网站的结构设置的不好，那么很容易导

　　致蜘蛛无法爬行到某些页面，自然也无法收录。事实上，网站结构在决定页面权重方面起着非常关键的作用，直

　　接影响搜索引擎对页面的收录，一个设计合理的网站结构可以引导搜索引擎从中抓取到更多、更有价值的页面。

　　那么，我们如何根据页面的收录原理来进行网站的优化工作呢?事实上，蜘蛛是通过连接不断爬行，无论是采用

　　深度优先还是广度优先，由于蜘蛛的能力有限，只能爬到一定的地方，这就要求我们尽量减少页面的目录深度及

　　与重要页面之间的链接深度，从而有利于蜘蛛的爬行，具体分析如下：

　　第一：减少页面之间的链接深度

　　减少页面之间的链接深度包括减少普通页面与重要页面之间、重要页面与重要页面之间的链接深度，可以从以下

　　几点入手：

　　1.为网站中相对重要的页面增加更多的链接入口。在相对重要的页面中存放更多链接指向其他的页面，这样不但

　　可以减少页面之间的链接深度，还可以引导搜索引擎抓取网站中更多相对重要的页面。举个简单的例子，我们网

　　站的首页可以在合理的范围内加上更多指向其他相对重要的页面的链接。这样有利于蜘蛛的爬行收录。

　　2.如果我们要突出某个重要的页面，可以在更多的页面中加上链接指向这个页面，就可以最大化的保证这个重要

　　页面的收录和提高这个页面的权重。

　　3.用心制作好网站地图。网站地图起到了减少页面之间的链接深度，有利于蜘蛛查找到更多的页面。

　　第二：减少页面的目录深度

　　减少页面的目录深度，实际上就是减少页面URL的目录层次，新手朋友可以从一下几个方面入手：

　　1.对于全静态页面的网站，在规划网站时要精简目录结构，我们在规划目录时，可以精简为等。

　　2.对于动态页面的网站，则可以通过 URL 重写的方式减少页面的 URL 的目录层次。在实际操作中，我们会通过

　　URL重写的方式使得网站中的每个页面的URL深度都为1，即URL 形式为 http://域名/文件名称。

　　第三：一个页面的链接数量不要超过100

　　这是很多站长朋友所忽略的，事实上，如果一个页面中的链接数量超过100，搜索引擎就可能拒绝索引该页面，

　　或者忽略 100 以后的那部分链接指向的目标页面。这是一个很关键的内容，很多站长朋友并没有意识到这点，

　　所以很多时候超过100的那部分链接已经没有意义，不被搜搜引擎蜘蛛所爬行，那么这部分的链接所指向的页面

　　就不会被收录，所以如果要想这部分链接所指向的页面被收录，我们要另外做链接导入。

（发布时间：2012-11-17 22:55）