搜索引擎是人们在网络上搜索各种信息的宝贵工具。但是为了让您的内容出现在顶级搜索引擎结果中，它需要是可抓取的。在这篇文章中，我们将讨论搜索引擎是如何工作的，抓取预算在 SEO 中的作用，以及如何最大化您的抓取预算。
了解搜索引擎
搜索引擎可以抓取数十亿个页面，并根据用户的特定搜索查询向用户呈现最优质的搜索结果。简单来说，搜索引擎包含多个进程，这些进程协同工作以获取内容。这是网站所有者使用 SEO（搜索引擎优化）来提高其内容的可见性并为他们的网站带来流量的地方。
搜索引擎中涉及的机制是：
- 网络爬行：机器人不断扫描互联网以发现新页面并收集数据以帮助准确索引页面。
- 索引：它是保存和记录在爬取过程中收集的信息的过程。优质内容存储在搜索引擎的索引中。如果一个网站已被索引，它将作为特定查询的结果显示。
- 排名：从最相关到最不相关对内容进行排序，从而为每个用户的查询提供最佳答案。
您希望您的网站显示在搜索引擎结果页面上吗？然后，您需要确保其内容对搜索引擎可见。这是 SEO 的关键部分，忽视这一点可能会导致您对数字营销服务的投资付诸东流。
为防止您的网站被忽视，请务必检查您网站的抓取预算。大多数网主不需要担心这个，除了满足以下条件的人。这包括拥有一个拥有超过 100,000 个定期更新网页的网站、一个每天更新网页的中型网站或包含重定向链接的网站。
但首先，抓取预算是多少？
什么是抓取预算？
网络可以被想象为一个永无止境的承载内容的空间，因此它超过了谷歌等搜索引擎对每个网站进行抓取和索引的能力。因此，搜索引擎为花费时间在网站上爬行设定了限制。网站的抓取预算定义为搜索引擎用于抓取网站的时间和资源量。
据谷歌称，有两个主要因素有助于确定网站的抓取预算。两者的定义如下：
抓取容量限制
Googlebot希望在不增加服务器负担的情况下抓取您的网站。因此，它会计算抓取容量限制，这决定了 Googlebot 可以在您的网站上抓取的同时并行连接的最大数量，以及检索数据所需的时间。这可以在您的网站上展示高质量的内容，而不会耗尽您的服务器。
影响爬网容量限制的因素包括您网站的响应能力。短时间内的响应时间越快意味着爬取能力越高。否则，如果发生服务器错误，则抓取容量限制会下降，从而导致对您网站的抓取减少。网站所有者还可以通过搜索控制台控制容量限制。
抓取需求
与其他网站相比，Google 在您网站上的抓取时间取决于该网站的页面质量、更新频率、大小和相关性。影响抓取需求的因素有：
- URL 的放置：在抓取过程中，Google 将尝试访问放置在您网页上的所有 URL 链接，除非已提供说明。如果存在重复或不需要的链接（不必要的），则会浪费更多的抓取时间。这可能会导致负面影响。
- 认可：网络上的热门网站被抓取的次数更多，以使索引保持最新。
- 更新频率：搜索引擎越来越多地抓取做出一致更改的网站。
简而言之，低抓取需求意味着谷歌将不那么频繁地抓取您的网站。即使 Googlebot 保持在抓取容量限制内，抓取需求低也会影响抓取速度。
提高爬行效率的方法
1.优化你的 URL 清单
Google 建议网站所有者使用适当的工具来指导 Googlebots 应该或不应该抓取的网站。如果 Googlebot 发现抓取时间较长且与索引无关的网址，Google 可能会停止抓取您的网站并减少抓取预算。
2.消除重复内容
重复的内容会浪费抓取时间并阻止您的网站被索引。因此，专注于创建原创和真实的内容，这可以增加您的网站被索引的机会。
3.防止不必要的URL爬网
不应出现在搜索结果中但对用户很重要的页面应被阻止进行抓取。示例包括将内容复制到不同链接的无限滚动页面、页面的过滤版本等。如果无法消除此类重复内容，则通过 robots.txt 文件或 URL 参数工具阻止此类 URL（用于阻止重复内容）。
Robots.txt：该文件可以在您网站的根目录中找到。它们对于指示搜索引擎应该或不应该抓取您网页上的哪些 URL 很有用。不应在此文件中提及私人页面的 URL，例如管理页面和登录页面。它不仅可以防止它们出现在搜索结果中，还可以防止它们被黑客访问。Google建议使用密码保护或 noindex 标签来防止重要的 URL 被抓取或编入索引。
URL 参数工具：此功能有助于防止搜索引擎抓取多个 URL 指出的重复内容。例如，（example.com/shirts?style = 休闲、半袖和 example.com/shirts?style = 休闲 & style=half-sleeve）。由于使用了各种参数，此类 URL 与原始 URL 的差异可能可以忽略不计。如果它们存在于您的网站上并且直接指向相同的内容，那么这些链接可能会花费宝贵的抓取时间。
此类 URL 的示例可以在各种电子商务商店中找到，因为它们使用不同参数的 URL 将网络流量重定向到其产品推荐页面。对于不同型号的产品，此类站点需要使用带有一些通用参数的 URL。因此，使用 URL 参数工具来阻止包含通用 URL 参数的站点可能会导致各种重要页面未出现在搜索结果中。
谷歌已经建立了一组网站使用该工具需要满足的要求。
- 该网站应包含 1000 多个页面。
- 如果您在索引覆盖率报告中发现大量重复页面被 Google 编入索引，它们仅在 URL 参数上有所不同。
4.对于已删除的页面，请提高 404/410
404 表示 Google 不会抓取它熟悉的特定网址。被阻止的 URL 仍然是抓取过程的一部分，一旦解除阻止，就可以重新抓取。
5.修复软404错误
当 URL 指向不存在的页面时，会显示 404 错误。搜索引擎会反复抓取此类网址，造成宝贵的抓取时间和预算的浪费。有时，索引所需的页面会引发 404 错误。这可能是因为页面已移至新站点。因此它需要被重定向到新的 URL。Google 提供了跟踪和修复此类错误的深入指南。
如果网页已永久重新定位到新 URL，请使用 301 重定向将旧 URL 与新 URL 连接起来。在临时更改的情况下，首选 302 重定向，它通过特定路由将 Web 流量发送到目标页面。
6.定期更新站点地图
站点地图提供有关您网站页面的详细信息，包括内容，并且 Google 等搜索引擎每天都会对其进行扫描。因此，请提及您希望 Google 抓取的站点地图中的所有内容。
7.使用更短的重定向链
如果您已将网站移至新 URL，请使用较小的链以加快加载时间，从而简化重定向过程。否则，它会增加爬取次数并减少爬取预算。例如，如果您已将网站从其原始 URL 转移到新 URL，并且必须再次转移，请将原始 URL 直接与当前的新 URL 链接。
8.提高您网站的响应能力
更快的加载和响应时间意味着更多的抓取时间来扫描包含来自您网站的丰富内容的 URL。
9.确保 Googlebot 在您的网站上不会遇到任何可用性问题
确保您的网站 24/7 全天候可用不会增加抓取预算。但是，它使 Google 能够增加对您网站的抓取。为了查看 Googlebot 对您网站的抓取历史记录，Google 提供了抓取统计报告，其中显示了所面临的任何问题或错误的说明。
总结
SEO 的一个组成部分是使您的网站值得抓取。如果主网站以及其他 URL 处于正常工作状态，则所有页面被抓取的机会就越高。这需要改进和维护您网站的抓取预算。检查任何重复的 URL 以消除重复的内容并修复从抓取统计报告中确定的任何可用性问题。为您的 URL 使用较短的重定向链，同时将您的网站临时或永久地转移到新的网站链接。通过这些步骤，您可以提高网站的抓取预算。
