【Google SEO】搜索引擎索引综合SEO指南

有没有想过网站是如何在搜索引擎上列出的，以及 Google、Bing 和其他公司如何在几秒钟内为我们提供大量信息？

这种闪电般快速性能的秘诀在于搜索索引。它可以与所有页面的庞大且完美有序的目录档案进行比较。进入索引意味着搜索引擎已经看到了你的页面，评估了它，并记住了它。因此，它可以在搜索结果中显示此页面。没有这个阶段，在你的网站的 SEO 上工作是没有意义的。如果您的网站的页面无法被编入索引，它们也无法在搜索结果中排名并增加流量。

让我们从头开始深入研究索引的过程来理解：

什么是搜索引擎索引以及如何索引您的网站
搜索引擎如何从数十亿个网站（包括您的网站）收集和存储信息
为什么索引对 SEO 很重要
如何管理此过程以确保搜索引擎更快地索引您的网站
如何限制网站索引编制
您需要了解的有关使用影响索引的各种技术的信息
如何检查您网站的索引

关键要点

搜索引擎索引是搜索引擎分析和存储网站页面以构建其索引的方式。它使他们能够在搜索结果中显示相关页面。

如果不编入索引，你的页面就无法出现在搜索结果中，这使得它成为任何SEO策略的重要第一步。

在索引过程中，页面会根据其质量和相关性添加到目录（搜索引擎索引）中。

搜索引擎采用倒排索引系统来存储数据并快速检索相关页面以进行搜索查询。

您可以使用 Google Search Console、SE Ranking 和 site：搜索运算符等工具监控索引状态。这些工具可确保所有重要页面都已正确编入索引。

不同的 Web 开发技术（例如 Flash、JavaScript、AJAX 和 SPA）会影响搜索引擎以各种方式索引网站内容的方式。

您可以使用机器人元标记、X-Robots-Tag、服务器端指令和密码保护等方法来限制特定页面或内容被搜索引擎索引。

什么是搜索引擎索引？

搜索引擎索引是搜索引擎分析和存储网站页面以构建其索引（内容数据库）的过程。这允许搜索引擎在 SERP 中显示页面。

要参加 SERP 第一名的竞争，您的网站必须经过一个选拔过程：

第 1 步：网络蜘蛛（或机器人）扫描网站的所有已知 URL。这称为爬行。

第 2 步：机器人从网页收集和存储数据，这称为索引。

第 3 步：最后，网站及其页面可以在游戏中竞争，试图对特定查询进行排名。

简而言之，如果您希望用户在 Google 或 Bing 上找到您的网站，则需要将其编入索引：有关页面的信息应添加到搜索引擎数据库中。

请记住：索引编制和爬网是两个独立的过程。抓取是指发现内容，索引是指存储所述内容。如果您的网页已被抓取，这并不意味着它已被编入索引。

现在，让我们看一下搜索索引背后的方法。

搜索引擎索引是如何工作的？

当爬虫找到一个网页时，我们的系统会呈现页面的内容，就像浏览器一样。我们注意到关键信号——从关键词到网站新鲜度——我们会在搜索索引中跟踪所有这些信号。

网络爬虫为页面及其内容编制索引，包括文本、内部链接、图像、音频和视频文件。如果爬虫认为内容有价值且具有竞争力，搜索引擎会将该页面添加到索引中。然后，它将在“游戏”中争夺相关用户搜索查询的搜索结果中的位置。

在编入索引的过程中，Google 会确定搜索结果中显示的网页是副本还是原始网页（规范网页）。它通过将相似的页面组织成组来开始此评估。然后，它将规范状态分配给最具代表性的状态。其余的被视为替代版本，并在其他情况下使用，包括移动搜索结果或特定查询。Google 还会记录有关规范页面的详细信息，例如语言、位置和用户友好性。这些信息可帮助 Google 决定在搜索结果中显示哪些网页。

请记住：只有当网页包含优质内容时，Google 才会将网页添加到索引中。参与阴暗活动的页面，如关键字填充或使用低质量或垃圾域名构建链接，将被标记或忽略。Google 算法更新，尤其是核心更新，会影响 SEO 中的索引。如果 Google 发现网站的重要部分对搜索结果没有价值，它可能会决定不花时间抓取和索引整个网站。

什么是搜索引擎索引？

搜索引擎索引是一个庞大的数据库，其中包含搜索引擎抓取、分析和存储（随着时间的推移）的所有页面的信息。该索引包含有关每个页面的简要信息和摘要。当您输入搜索查询时，搜索引擎会快速扫描其保存的内容列表，以拉出最相关的网页以在 SERP 中显示。这就像图书管理员按字母顺序、主题和确切的书名在目录中查找书籍一样。

如果没有索引目录，搜索引擎就无法立即提供有用的页面来响应您的查询。

什么是倒排索引？

倒排索引是一种系统，可帮助您尽可能高效地存储和搜索文本数据。

在传统索引中，数据按文档进行组织，每一页都列出了它所包含的术语。倒排索引可反转此情况，将每个术语与包含该术语的文档列表相关联。

这种倒置结构允许搜索引擎通过查找每个术语并检索相应的文档列表来快速找到给定搜索查询的相关文档。

这种高效的数据结构使搜索引擎能够几乎立即返回查询结果，甚至跨越数十亿个页面。

为什么索引对 SEO 很重要？

答案很简单。如果搜索引擎不将某个网页编入索引，则该网页将不会显示在搜索结果中。因此，该页面排名和从搜索中获得自然流量的机会为零。如果没有适当的（或任何）索引，即使是在其他方面优化良好的页面也会在搜索中保持不可见。

简而言之，在任何 SEO 努力对自然搜索性能产生影响之前，编入索引是至关重要的第一步。

让搜索引擎更快地将您的网站编入索引

展示您的网站（或其中的新页面）是吸引搜索引擎注意力的可靠方法。一些吸引搜索引擎注意力的流行且有效的方法包括向 Google 和 Bing 提交站点地图或单个 URL、内部链接、获取反向链接以及在社交媒体上互动。

让我们更详细地探讨这些方法：

XML 站点地图

为了确保我们在同一起跑线上，让我们首先刷新我们的记忆。XML站点地图是爬虫需要注意的网站上所有页面（XML文件）的列表。它充当机器人的导航指南。站点地图确实可以帮助您的网站以更有效的抓取率更快地被索引。

站点地图充当搜索引擎爬虫的路线图。他们可以将爬虫引导至网站中被忽略的区域。站点地图可帮助您指定哪些页面在 SEO 中被索引的优先级最高。它们还会通知搜索引擎有关要编入索引的新内容和更新内容的信息。对于大型网站，站点地图可确保在抓取过程中不会遗漏任何页面。

准备好站点地图后，转到您的 Google Search Console 并：

打开“站点地图”报告 ▶️ 点击“添加新站点地图▶️”图标输入您的站点地图网址（通常位于 yourwebsite.com/sitemap.xml） ▶️ 点击提交按钮。

您也可以在 Bing 网站管理员工具中提交站点地图。打开“站点地图”部分，单击“提交站点地图”按钮，输入您的站点地图 URL，然后按“提交”。

Google Search Console 中的 URL 检查工具

我们描述了如何添加一个包含大量网站链接的站点地图。但是，如果您需要添加一个或多个链接以进行索引，则可以使用另一个 GCS 选项。借助 URL 检查工具，您可以请求抓取单个 URL。

转到您的 Google Search Console 仪表板，单击 URL 检查部分，然后在行中输入所需的页面地址：

如果某个网页是最近创建的，或者遇到了技术问题，则可能无法将其编入索引。发生这种情况时，您将收到一条指示问题的消息，您可以请求将 URL 编入索引。只需按下按钮即可开始索引过程：

可以通过 GSC 以这种方式请求所有包含新内容或更新内容的 URL 在搜索引擎中进行索引。

Google 的索引 API

借助 Indexing API，您可以通知 Google 需要抓取的新网址。

根据谷歌的说法，这种方法是使用站点地图的绝佳替代方案。通过利用索引 API，Googlebot 可以立即抓取您的网页，而无需等待站点地图更新或 ping Google。但是，Google 仍然建议提交站点地图以覆盖您的整个网站。

要使用 Indexing API，请为您的客户和服务帐号创建一个项目，在 Search Console 中验证所有权，然后获取访问令牌。本文档提供了有关如何执行此操作的分步指南。

设置完成后，您可以发送带有相关网址的请求，以通知 Google 新网页，然后耐心等待，直到您网站的网页和内容被抓取。

注意：索引 API 对于经常托管短期页面（例如招聘信息或直播视频）的网站特别有用。通过允许推送单个更新，索引 API 可确保内容在搜索结果中保持新鲜和最新。

在必应网站管理员工具中提交 URL

此网站索引工具类似于 Google 控制台的 URL 检查工具。它允许您每天提交多达 10,000 个 URL，以便立即抓取和索引。

单击“提交 URL”，每行添加一个 URL，然后推送“提交”。

立即评估 URL 以进行搜索索引。如果它们符合质量标准，它们也会出现在 Bing 搜索结果中。这对于快速索引重要内容非常有用。

Bing 的 IndexNow

Bing 的 IndexNow 是一种 ping 协议，可让您立即通知搜索引擎有关新内容更改或更新的信息。您最多可以发送 10,000 个 URL 来绕过 Bing 的爬虫。

IndexNow 已集成到 Wix、Duda 和 xenForo 中。如果您正在使用另一个 CMS，则必须安装一个插件。此外，如果列出的任何系统都不支持 API 密钥文件，则必须将其安装在网站的根目录中。然后，您还必须通过在新行中指定每个 URL 来将相应的 URL 提交到 Bing。

在此处找到所有说明。

这将使搜索引擎能够更快地抓取和索引（或重新索引）这些特定页面，从而加快搜索结果中这些新变化的出现。

所有提交的 URL 数据将显示在 Bing 网站管理员工具的 IndexNow 部分中。

内部链接

在您的网站架构中实施深思熟虑的内部链接策略为爬虫发现和索引您的页面提供了清晰的路径。

当搜索引擎爬虫登陆您的网站时，内部链接会充当引导爬虫发现新页面的路线。结构良好的内部链接（即网站结构）系统使爬虫更容易找到并抓取您网站上的所有页面。

如果没有来自您核心页面的内部链接，搜索爬虫可能很难找到和索引距离主页只有几次点击距离它们或没有指向它们的链接的页面。

在优化网站的内部链接结构时，请考虑以下几点：

确认您网页上的所有链接都为用户带来了价值，并且运行正常。
为它们指向的页面提供描述性和相关的锚文本。
仔细检查您的页面内容中是否有 404 个链接，并使用正确的链接进行更新。

外部链接

反向链接是搜索引擎确定页面重要性不可或缺的一部分。他们向谷歌发出信号，表明该资源是有用的，值得在SERP的顶部排名。

约翰·穆勒（John Mueller）说：“反向链接是让谷歌索引内容的最佳方式。他断言，向 GSC 提交带有 URL 的站点地图是一种很好的做法。对于没有现有信号或信息可供 Google 使用的新网站，通过站点地图向搜索引擎提供 URL 是一个很好的入门方式。不过，重要的是要注意，这并不能保证 Google 会索引包含的 URL。

约翰·穆勒（John Mueller）还建议网站管理员与不同的博客和资源合作，以获取指向他们网站的链接。这种方法比去Search Console说我希望立即将此URL编入索引要有效和合乎道德得多。

以下是一些获得高质量反向链接的方法：

访客发帖
创建新闻稿
撰写推荐信
利用本文中其他流行的反向链接获取策略

社交信号

搜索引擎旨在提供符合用户搜索意图的高质量内容。Google 通过评估社交信号（包括点赞、分享和社交媒体帖子浏览量）来实现这一目标。

这些信号告诉搜索引擎内容是否满足用户的需求，是否具有相关性和权威性。如果用户主动分享您的页面、喜欢它并推荐它进行阅读，搜索机器人就不会经过您的内容。这凸显了在社交媒体上保持活跃的重要性。此外，谷歌表示，社交信号不是直接排名因素，但可以间接帮助搜索引擎优化。

社交信号包括 Facebook、Twitter、Pinterest、LinkedIn、YouTube 等上的所有活动。使用 Facebook，您可以为您的重要链接创建帖子。在 YouTube 上，您可以添加视频说明的链接。您还可以使用 LinkedIn 来提高您的网站和公司的可信度。了解如何使用你所针对的每个平台有助于你调整你的方法，以最大限度地提高你网站的有效性。

根据经验，您在网站周围创造的社交嗡嗡声越多，它被索引的速度就越快。

你如何检查你的网站的索引？

您已提交网站页面以供编入索引。你怎么知道索引是成功的，并且必要的页面已经被排名过？让我们看一下一些你可以用来检查这个问题的方法。

在 GSC 中分析索引报告

Google Search Console 允许您监控哪些网站页面被索引，哪些未被索引，以及原因。我们将向您展示如何检查这一点。

首先，单击“索引”部分，然后转到“页面”报告。

在“已编入索引”选项卡上，您可以找到有关网站上已编入索引的所有网页的信息。点击查看已编入索引的网页相关数据按钮。

您将在站点地图中看到所有已提交的网页，并在“所有已提交的网页”行下看到已编入索引的网页。

向下滚动以查看所有已编入索引的网页的列表。从这里，您甚至可以了解 Google 上次抓取该页面的时间。

接下来，从下拉菜单中选择“仅未提交的页面”选项。您将在站点地图中看到未提交的已编入索引的网页。您可能希望将它们添加到您的站点地图中，因为 Google 认为它们是高质量的页面。

现在，让我们进入下一阶段。

“未编入索引”选项卡会显示由于各种原因（例如编入索引错误）而无法编入索引的网页。

在“为什么网页未编入索引”表格中，您可以找到有关每个问题的具体详细信息，并尝试进行修复。

仔细浏览所有这些页面，因为您可能会找到可以修复的 URL。这将确保谷歌将它们编入索引，从而提高排名。使用Google网站排名检查器，看看您的努力是否奏效，以及您的排名是否有所提高。

向下滚动到显示已编入索引的页面的选项卡，但有些问题可能是您有意为之的。单击表中的警告行可查看有关问题的详细信息，然后尝试使用此新信息进行修复。这将帮助您获得更好的排名。

对于视频，也可以获取相同类型的索引数据。只需转到“索引编制”部分中的“视频页面”报告即可。

使用“site：”搜索运算符

检查网站索引的另一种流行方法是通过 site：命令。此 Google 搜索运算符显示网站的页面列表。但是，不能保证 Google 会提供完整的列表。

大多数 SEO 专家使用它，因为它是检查网站或页面索引的最简单方法。在 Google 2024 年 3 月的核心更新之后，这一点尤其有用，因为许多包含 AI 内容的网站都被取消了索引。

在 Google 搜索栏中输入此命令，然后输入网站的域名。

site:yourdomain.com

你会看到网站页面目前显示在谷歌的SERP中。但是，返回的 URL 列表并不总是很宽泛。较大的网站不应期望在结果中看到其所有网址。

您还可以验证各个 URL 的索引编制状态。只需在搜索引擎中输入site:yourpage.com即可。

如果网址未显示在 site：查询中，您可以使用网址检查工具查看网址是否已编入索引。

使用 SE Ranking 的工具

使用 SE Ranking，您可以运行网站 SEO 审计并查找有关索引的信息。

转到“概述”，然后滚动到“页面索引”块。

在这里，您将看到已编入索引的网页和未编入索引的网页、它们的百分比比率和数量。此仪表板还显示了不允许搜索引擎索引网站页面的问题。您可以通过单击图表来查看详细报告。

通过点击绿线，您将看到已编入索引的页面列表及其参数：状态代码、被robots.txt阻止、引用页面、x-robots-tag、标题、描述等。

在这里，您可以根据参数 Blocked by noindex 和 Blocked by X-Robots-Tag 过滤页面。这使您可以查看哪些页面根本不应该被编入索引。

可以在问题报告的“抓取”部分中找到相同的信息。

这些广泛的信息将帮助您找到并解决问题，以便您可以确保所有重要的网站页面都被编入索引。

您还可以使用 SE Ranking 的索引状态检查器检查页面索引。只需选择搜索引擎并输入URL列表即可。

一旦你解决了任何索引问题，你就可以使用排名检查器来监控你网站的性能并跟踪改进情况。

查看我们的跟踪搜索引擎排名指南，学习有效的技术来分析您的网站在搜索引擎上的表现并相应地优化您的SEO策略。

不同的技术如何影响网站索引

现在我们已经弄清楚了 Google 和 Bing 如何索引网站，如何提交页面进行索引，以及如何检查它们是否出现在 SERP 中，让我们继续讨论一个同样重要的问题：Web 开发技术如何影响网站内容索引。

Flash 内容

Flash 曾经被用来制作游戏和成熟的网站，但 Flash 不再活跃。在其 20 年的发展中，Flash 存在许多缺点，包括 CPU 负载高、Flash 播放器错误和索引问题。

2019 年，谷歌停止索引 Flash 内容，发表了关于一个时代结束的声明。

毫不奇怪，搜索引擎建议不要在网站上使用 Flash。但是，如果您的网站是使用此技术设计的，请创建网站的文本版本。这对于尚未安装 Flash（或已安装过时的 Flash 程序）的用户和移动设备用户（这些设备不显示 Flash 内容）非常有用。

JavaScript

在 JavaScript 开始主导 Web 开发之前，搜索引擎只抓取像 HTML 这样的基于文本的内容。随着 JS 的普及，搜索引擎提高了索引此类内容的能力。

但是，JavaScript 渲染是一个耗费大量资源的过程。搜索引擎在网页上处理 JavaScript 的方式可能会有延迟。在渲染完成之前，搜索引擎可能难以访问客户端加载的所有 JS 内容。为了揭示 JavaScript 中的内容（通常看起来像是指向 JS 文件的单个链接），机器人需要首先渲染它。只有完成这一步，搜索引擎才能看到HTML标签中的所有内容，并快速扫描。

Google 在索引 JavaScript 渲染的内容方面做得越来越快。60% 的 JavaScript 内容在 HTML 索引后的 24 小时内被索引。但是，这仍然留下了剩余的 40% 的 JS 内容，这可能需要更长的时间。

请注意，注入了 JavaScript 的页面部分可能包含内部链接。如果搜索引擎无法呈现 JavaScript，它就无法跟踪链接。这意味着搜索引擎无法索引这些页面，除非它们链接到其他页面或包含在站点地图中。

如果您有一个 JavaScript 较重的网站，请尝试重组 JavaScript 调用，以便首先加载内容，然后查看这样做是否能改善 Web 索引。阅读我们的综合指南，了解有关改进 JS 网站索引的更多提示。

AJAX

AJAX 通过与服务器交换少量数据，使页面能够串行更新。使用 AJAX 的网站的标志性功能之一是内容由单个连续脚本加载，而无需将其划分为具有唯一 URL 的单独页面。因此，网站的页面通常在 URL 中有一个主题标签（#）。

像这样的页面历来没有被搜索引擎索引。爬虫不会扫描 https://mywebsite.com/#example URL，而是转到 https://mywebsite.com/，而不是扫描带有 # 的 URL。因此，爬虫无法扫描网站的所有内容。

从 2019 年开始，带有 AJAX 的网站已被 Google 直接呈现、抓取和索引。这意味着机器人可以扫描和处理 #！URL，模仿用户行为。现在，网站管理员不再需要创建每个页面的 HTML 版本，但您仍应检查您的robots.txt是否允许 AJAX 脚本扫描。如果它们被禁止，只需打开它们以进行搜索索引。

SPA

单页应用程序（SPA）是一种相对较新的趋势，它将 JavaScript 整合到网站中。与传统网站通过在需要时从服务器请求 HTML、CSS 和 JS 来加载 HTML、CSS 和 JS 不同，SPA 只需要一次初始加载。由于它们不会在该点之后与服务器交互，因此所有进一步的处理都留给浏览器。然而，虽然 SPA 网站加载速度更快，但它们背后的技术可能会损害您的 SEO。

在扫描 SPA 时，爬虫无法识别内容正在动态加载。然后，搜索引擎会将其视为一个尚未填充的空白页面。

SPA 也不遵循 404 错误页面和其他非 200 服务器状态代码背后的传统逻辑。在浏览器呈现内容时，服务器会向每个请求返回 200 HTTP 状态代码。因此，搜索引擎无法判断某些页面是否有效（或无效）可以编入索引。

要了解如何优化单页应用程序，请阅读我们有关 SPA 的博客文章。

框架

JavaScript 框架用于促进动态网站交互。使用 React、Angular、Vue 和其他 JavaScript 框架构建的网站默认都设置为客户端渲染。这通常会导致框架充斥着以下 SEO 挑战：

抓取工具无法查看页面上的内容：搜索引擎在索引需要您单击它才能加载的内容时遇到问题。
速度是一个主要障碍：Google 会抓取未缓存的网页。第一次负载可能是繁重的和有问题的。
客户端代码增加了最终确定的 DOM 的复杂性：它需要来自搜索引擎爬虫和客户端设备的更多 CPU 资源。

如何限制网站索引编制

您可能不希望搜索引擎将某些页面编入索引。没有必要让所有页面都排名并出现在搜索结果中。

哪些内容最常受到限制？

内部和服务文件：只有网站管理员或网站管理员才能查看的文件，例如，在注册期间指定的包含用户数据的文件夹：/wp-login.php;/wp-register.php.
不适合在搜索结果中显示的页面，也不适合用户首次了解资源的页面：感谢页面、注册表等。
包含个人信息的页面：访客在下单和注册时留下的联系信息，以及支付卡号;
某种类型的文件，例如 pdf 文档。
重复内容：例如，您正在对其进行 A/B 测试的页面。

因此，您可以阻止对用户没有价值且不影响网站排名的信息，以及机密数据被索引。

您可以使用它解决两个问题：

降低某些网页被抓取的可能性，包括编入索引和显示在搜索结果中。
节省抓取预算 - 机器人可以抓取的每个网站的网址数量有限。
让我们看看如何限制网站内容。

Meta robots

Meta robots 是一个标签，其中添加了搜索机器人的命令。它们会影响页面的索引及其元素在搜索结果中的显示。该标签被放置在 Web 文档的<head>中，以便在机器人开始抓取页面之前指示它。

与 robots.txt 不同，Meta robot 是一种更可靠的索引管理方式，它仅作为爬虫的推荐。在元机器人的帮助下，您可以直接在页面代码中为机器人指定命令（指令）。它应该被添加到所有不应被索引的页面中。