提升网站可见性和排名的Yoast SEO爬行优化设置
目录
- 爬行优化设置
1.1 删除不需要的元数据
1.2 禁用不需要的内容格式
- 内部站点搜索清理
- 高级设置
🕷️ 爬行优化设置
在进行搜索引擎优化时，爬行能力对于提升网站的可见性至关重要。如果您希望搜索引擎能够找到并在搜索结果中展示您的网站，那么您的网站必须是可爬行的。但并不仅仅是这样，还需要确保搜索引擎有机会爬行您希望排名的页面。
然而，您知道爬行需要消耗大量的资源吗？搜索引擎需要大量的电力来爬行不断增长的网站和网址。而且，其中很大一部分爬行是浪费的。为什么呢？因为并非所有的爬虫都对您的网站有用，而且有许多不需要爬行的URLs。例如，您的CMS或插件自动添加到页面中的URLs。
这里有个好消息，通过使用Yoast SEO中的爬行优化设置，您可以轻松清理掉那些没有任何搜索引擎优化价值的URLs。这使得爬行更加高效，并减少了您网站的碳足迹。
以下是爬行优化设置的详细说明：
1.1 删除不需要的元数据
与人类阅读网站前端内容不同，搜索引擎是通过源代码中的信息进行解读的。如果您打开网站的源代码，您会发现其中有许多URLs。当爬虫开始爬行您的网站时，它们会访问找到的每个URLs，每天会进行数十甚至数百次。
那么这有什么问题呢？因为WordPress会在您的网站头部和页首部分添加许多URLs和标签。而这些添加的内容中很多是不必要的，也没有任何搜索引擎优化价值。所以我们设计了多个开关，可以让您禁用特定的输出内容。
首先，您可以使用第一个开关来删除WordPress自动为每篇文章创建的短链接。这些短链接是相同页面URL的缩短版本，通常可以安全地禁用这些链接。
第二个开关可以帮助您删除REST API链接。简而言之，REST API是面向开发人员的功能，允许应用程序与您的WordPress网站进行交互。但大多数网站并不使用WordPress REST API，所以可以安全地禁用这些链接。
第三个开关用于删除两种类型的链接：RSD（Really Simple Discovery）和WLW（Windows Live Writer）。如果您不使用这些类型的服务，可以安全地禁用这些链接。
接下来，您可以使用下一个开关来删除OEmbed链接。OEmbed提供了一种简单的方法，使其他网站可以轻松地嵌入您的内容，但是删除这些链接不会对您的内容造成任何影响。
生成器meta标签是WordPress自动添加的，用于显示您的网站使用的WordPress版本。这个标签没有搜索引擎优化价值，并且实际上可能是一个安全隐患，所以您可以使用这个开关轻松删除它。
接下来的开关是用于从您的HTTP头部中删除Pingback行。Pingback用于在有其他网站链接到您的网站时通知您，但这是一个非常古老的标准，现在大多数现代网站都不再使用它。
最后一个开关是用于删除所谓的powered by HTTP响应头部，其中包含您的网站使用的PHP版本等信息。对于您的网站正常运行而言，这些信息并不是必需的，所以您可以安全地删除它。
这就是第一部分的内容。下面我们将继续介绍其他爬行优化设置。
1.2 禁用不需要的内容格式
很可能您的网站比您意识到的要包含更多的URLs。比如，WordPress会为您的网站上的很多内容创建订阅源。这些订阅源基本上是不同格式的最新帖子或评论的列表。
由于WordPress会创建很多这样的订阅源，它们可能会对爬虫造成问题。为什么呢？因为爬虫会开始爬行这些URLs，到某个点可能会耗尽爬取配额。
爬取配额是Google在任何给定的一天内将爬取您网站的页面数量。这个配额取决于您的网站大小、健康状况（也就是遇到多少错误）以及指向您的网站的链接数量。
因此，当Google开始爬取所有这些订阅源时，可能就没有任何预算供您重要的帖子和页面使用了。因此，最好的做法是删除这些URLs，从而让搜索引擎更有效地爬取您的网站。
在这部分的设置中，您可以开关来保留或删除各种订阅源。我们不会自动从每个网站中删除它们，因为我们无法预测所有用户的需求。但如果您对它们没有任何价值，我们建议您将开关设置为删除。
下面我们快速浏览一下这些开关：
第一个开关允许您删除全局订阅源，这是您最新帖子的概览。第二个开关允许您删除全局评论订阅源，即您网站上的最新评论概览。接下来是一个开关，用于删除每篇文章的最新评论的订阅源。如果您启用或禁用“删除全局评论”开关，帖子评论订阅源将自动启用或禁用。
然后，还有一系列用于删除特定作者的最新帖子、每种帖子类型、每个分类、每个标签和每个自定义分类法的订阅源的开关。接下来是用于删除搜索结果订阅源的开关，最后一个开关允许您删除Atom和RDF订阅源，这是特定格式的订阅源。
以上就是爬行优化设置的具体内容。现在，我们将继续介绍其他设置。
🔍 内部站点搜索清理
有时，垃圾邮件发送者会针对您网站的内部站点搜索URL，以满足其自身目的。这些URL可能会被Google爬行，并被用户看到，这可能会损害您的搜索引擎优化和品牌形象。
这些设置允许您采取一些措施来阻止这些垃圾邮件发送者，从而阻止它们的行动。
首先，您可以选择过滤搜索词。启用此选项后，您有更多具体的选项，可以设置在搜索中允许的最大字符数，从而减少垃圾邮件和混淆URLs的影响。
然后，您可以决定是否屏蔽带有表情符号和其他特殊字符的搜索。因为这些搜索可能是垃圾邮件攻击的一部分。
接下来，您可以选择将搜索页面的美化URL重定向到原始格式。WordPress支持两种站点搜索查询的端点格式：raw和pretty。当这两种格式都存在时，会导致问题，因为这会使得搜索引擎可以爬行的URL数量增加一倍。此外，这可能会增加垃圾邮件发送者攻击您网站的方式。
因此，我们提供一个选项，用于关闭这两种格式中的一种。当您将“将搜索页面的美化URL重定向到Raw格式”开关打开时，Yoast SEO会禁用美化格式，并将请求从美化格式重定向到原始格式，同时保留任何查询参数和分页。
我们禁用美化格式是因为原始格式相对来说更通用，而且对大多数分析和跟踪系统更有效。
该部分中的最后一个选项是阻止爬行内部站点搜索URLs。这会向您的robots.txt文件添加一条禁止规则，从而避免搜索引擎爬行内部站点搜索URLs。
通常情况下，我们建议您允许搜索引擎爬行这些页面，但通过使用noindex标签来阻止其索引，而不是通过robots.txt来阻止。然而，如果搜索结果页面被过度爬行并且有证据表明这对您的爬行配额有害（例如，对您的爬行预算），或者如果您的搜索结果页面受到攻击，那么您应该启用此选项。
接下来是一个高级设置部分，它允许您清理网址。请注意，这部分设置非常强大，滥用可能会损害您的网站。因此，请确保您知道自己在做什么。
这些设置可以优化外部网站和营销活动中使用的参数。即使这些参数提供有价值的信息（例如关于用户如何访问您的网站的信息），但也会增加性能和SEO的成本。对于不依赖URL参数的用户来说，他们可能会受益于使用URL清理设置。
在这里，您可以对Google Analytics使用的跟踪参数进行优化。如果您切换了开关，这些参数将被更改为在URL中使用井号而不是问号，这可以提高您网站的爬行效率，而不损失功能。
其次，您可以删除未注册的URL参数。如果您将此开关切换为打开状态，所有未知的URL参数将通过301重定向进行删除。
最后，如果您有特定的URL参数需要保留，您可以在“允许的额外URL参数”字段中输入这些参数。重要的是要知道，URL清理只适用于使用美化固定链接的安装。如果您的网站上没有美化固定链接，这些开关将变灰。此外，请注意这些高级设置需要为每个网站进行配置，因为没有一个解决方案适用于所有网站。
祝您好运！
FAQ
Q：爬行优化设置如何提高网站的SEO效果？
A：爬行是搜索引擎索引您的网站的过程。通过使用爬行优化设置，您可以清除不必要的元数据和不需要的内容格式，从而使搜索引擎更高效地爬行并索引您的网站。这将有助于提高您网站的可见性和排名。
Q：为什么要清理内部站点搜索？
A：清理内部站点搜索有助于阻止垃圾邮件发送者对您的网站进行滥用，并避免它们被搜索引擎爬行和展示。这有助于保护您的搜索引擎优化和品牌形象。
Q：如何使用URL清理设置来优化网站性能？
A：通过优化URL参数，您可以提升网站的爬行效率。您可以将Google Analytics中的跟踪参数更改为井号，删除未注册的URL参数，以及保留特定的URL参数。这将减少不必要的性能和SEO成本，使搜索引擎更高效地爬行您的网站。
Q：我需要注意什么关于高级设置？
A：高级设置非常强大，但如果滥用可能会对您的网站产生负面影响。最好只在了解其工作原理的情况下进行配置。如果您不确定如何操作，请寻求专业的技术支持或咨询。
结语
通过使用Yoast SEO中的爬行优化设置，您可以提升网站的可见性和排名。清理不必要的URLs、元数据和内容格式，您的网站将更高效地被搜索引擎爬行和索引。请谨慎配置高级设置，并注意保护您的网站安全和性能。
引用资源：
WHY YOU SHOULD CHOOSE Proseoai
