搜索引擎蜘蛛的作用是什么？我们网站上的内容如果要想被搜索引擎收录并且给予排名，就必须要经过搜索引擎蜘蛛的爬取并且建立索引。所以让搜索引擎蜘蛛更好的了解我们的网站是很重要的一步！搜索引擎蜘蛛在爬取某个网站，是通过网站的一个又一个链接抓取该网站的内容，通过过滤筛选找到新的内容后，根据自身的一套算法对网站进行排名，储存在数据库中。用户最终通过搜索引擎搜索从而找到我们的网站。

而蜘蛛日志便是搜索引擎通过蜘蛛爬行所留下的痕迹。（详细搜索引擎蜘蛛访问页面次数）一般我们会考虑蜘蛛搜索引擎的抓取质量，而其中能够帮我们优化网站可能会涉及到以下的几个蜘蛛抓取重要的概念：

1、爬取率：一天内网站被蜘蛛获取的页面数量。

2、爬取优先：那些页面最常作为蜘蛛的入口。

3、爬取冗余度：网站一般被多少蜘蛛同时爬取。

4、爬取路径：蜘蛛爬取路径还原。

通过我们查询网站蜘蛛详细日志，我们可以分析出各大搜索引擎蜘蛛的访问间隔频率，以及最受蜘蛛喜爱的页面，让你精确地分析搜索引擎蜘蛛对你网站的"喜爱"程度。从而更好的改善收录以及提升网站收录排名。

所有页面都可用于爬行吗？

不。某些页面可能无法用于爬行和索引。让我们仔细看看这些类型的页面：

受密码保护的页面。搜索引擎蜘蛛模拟了匿名用户的行为，该用户没有任何凭据访问受保护的页面。因此，如果页面受到密码保护，它不会被爬行，因为 搜索引擎也将无法访问它。

索引说明排除的页面。这些页面来自Robots.txt，带有Noindex标签、robots元标签和X-Robots标签。

孤儿页面。孤儿页面是网站中任何其他页面中未链接的页面。搜索引擎是一个蜘蛛机器人，这意味着它通过跟踪它找到的所有链接来发现新的页面。如果没有指向页面的链接，则页面将不会被爬行，也不会在搜索中出现。

有些页面被限制故意爬行和索引。这些通常是不打算在搜索中显示的页面：具有个人数据、策略、使用条款、页面测试版本、存档页面、内部搜索结果页面等的页面。

但是，如果您想让您的页面可供爬行并带来流量，请确保您不会保护带有密码、思维链接（内部和外部）的公共页面，并仔细检查索引说明。

你们中的一些人问我们，我应该为我的网站提交Sitemap还是Sitemap索引?

如果你有一个小网站，你可能不需要使用Sitemap索引文件-你可以在一个Sitemap中列出你所有的url。如果您有一个较大的站点，您可能希望或需要为您的站点拥有多个sitemap。在这种情况下，您可以通过在Sitemap索引文件中列出Sitemap来简化提交和跟踪。

在以下情况下，您必须为您的站点使用多个站点地图:

你有超过50,000个url要列出。这是一个Sitemap所能包含的最大值。

你应该如何命名你的站点地图?简单地说，把网址提交给搜索引擎，搜索引擎回去爬取的。

建议您为Sitemap提供一个标识文件类型的扩展名。例如，如果您创建一个列出url的简单文本文件，我们建议给Sitemap一个.txt扩展名。

如果您创建一个使用我们的Sitemap协议的XML Sitemap，请给它一个. XML扩展名。

把所有东西都放进去!列出包含网站内容、图片、媒体和其他内容的url。

如果您只想包含一个子集的项目，您可以，但我们希望您能给我们尽可能多的关于您的网站的信息。记住，我们尊重robots.txt，所以如果你在你的Sitemap中包含任何在robots.txt中受限制的url，我们将不会抓取这些url。

 

你可以通过让我们知道这些网页来帮助用户找到你的移动网页。搜索引擎移动Sitemaps允许您为提供移动内容的url提交Sitemaps。创建和提交移动站点地图的方式与处理其他站点地图的方式大致相同:使用站点地图生成器、站点地图协议，或者通过联合提要或文本文件。