技术性SEO的重要性及其作用 - Ahrefs SEO课程

目录

• ✨导言
• 😃为什么技术性SEO至关重要
• 1️⃣ noindex meta标签
  • noindex meta标签的作用
  • noindex标签的错误使用
  • 合理使用noindex标签的情况
• 2️⃣ robots.txt文件
  • robots.txt文件的作用
  • robots指令的使用
  • 设置robots.txt的注意事项
• 3️⃣ 网站地图
  • 网站地图的重要性
  • 使用插件自动生成网站地图
  • 在Google Search Console中提交地图
• 4️⃣ 重定向
  • 重定向的目的
  • 使用重定向整合网页信号
• 5️⃣ 链接标签
  • 链接标签的作用
  • 解决重复内容问题
• 😄总结
• FAQ常见问题解答

✨导言

你好，我是Sam Oh，欢迎来到Ahrefs的SEO初学者课程的最后一个模块！在接下来的两节课中，我们要谈论的是技术性SEO。技术性SEO是优化你的网站，帮助搜索引擎找到、理解和索引你的网页的过程。对于初学者来说，技术性SEO并不需要太多的技术知识。因此，这个模块将着重介绍基础知识，让你可以对网站进行定期维护，确保搜索引擎能够发现并索引你的网页。让我们开始吧！

😃为什么技术性SEO至关重要

基本上，如果搜索引擎无法正确访问、读取、理解或索引你的网页，那么你的网站将无法排名，甚至可能无法被发现。为了避免无意中从谷歌索引中删除自己的网页或稀释网页的后向链接，我想讨论一下四个帮助你避免这种情况的关键点。

1️⃣ noindex meta标签

noindex meta标签的作用： 添加这段代码到你的网页中，告诉搜索引擎不要将它添加到索引中。但你可能不想这样做，而且这种情况其实比你想象的更常见。例如，假设你雇佣了Design Inc为你创建或重新设计一个网站，他们可能会在自己站点的子域上创建网站。所以在他们开发阶段，在他们自己的域上将网站设置为noindex是有道理的。但常常会发生的情况是，在你批准设计后，他们将它迁移到你的域上，但他们常常忘记删除noindex标签。结果就是你的网页被从谷歌的搜索索引中删除或者根本不会出现在索引中。有时，确实有必要对某些页面进行noindex处理，例如我们的作者页面，从SEO的角度来看，这些页面对搜索引擎几乎没有任何价值。但从用户体验的角度来看，它们确实存在的道理。有些人可能在博客上有自己喜欢的作者，并希望只阅读他们的内容。对于小型网站来说，通常不需要担心特定页面的noindex问题，尤其是在重新设计后，请特别注意网页上的noindex标签。

2️⃣ robots.txt文件

robots.txt文件的作用： robots.txt是一个通常位于根域名下的文件，你可以通过yourdomain.com/robots.txt访问它。这个文件包含了一系列规则，告诉搜索引擎爬虫在你的网站上可以和不能的地方。需要注意的是，一个网站可以有多个robots文件，如果你使用了子域名的话。例如，如果你在domain.com上有一个博客，那么你会为根域名创建一个robots.txt文件，但你可能还有一个在store.domain.com上运营的电子商务商店，所以你可能有一个单独的robots文件用于你的在线商店。这意味着爬虫可能会获得两组不同的规则，这取决于它们尝试爬行的域名。这些规则是使用一种称为"指令"的东西创建的。虽然你可能不需要知道它们的具体内容或作用，但有两个指令与索引有关，你应该了解一下。第一个是User-agent，它定义了规则所适用的爬虫，对于这个指令的值应该是爬虫的名称，例如谷歌的爬虫是Googlebot。第二个指令是Disallow，它是指你不希望这个user-agent爬行的页面或目录。例如，如果你将user-agent设置为Googlebot，将Disallow值设置为斜杠"/"，那么你就告诉谷歌不要爬行你网站上的任何页面，这可不是件好事。如果将user-agent设置为星号"*"，这意味着你的规则应该适用于所有爬虫。所以，如果你的robots文件看起来像这样，那么它就是告诉所有爬虫，请不要爬行我的网站上的任何页面。虽然这听起来像你永远不会使用的功能，但有时候你可能希望阻止网站的某些部分，或者阻止特定的爬虫。例如，如果你有一个WordPress网站，并且不希望爬虫爬行你的wp-admin文件夹，那么你只需要将用户代理设置为"所有爬虫"，将Disallow值设置为/wp-admin/即可。对于初学者来说，我不会过多关注你的robots文件。但是，如果你遇到一些需要解决的索引问题，robots.txt是我检查的第一个地方。

3️⃣ 网站地图

网站地图的重要性： 网站地图通常是XML文件，用于列出你网站上的重要URL。这些URL可以是页面、图片、视频和其他文件。网站地图帮助谷歌等搜索引擎更智能地爬行你的网站。如果你使用WordPress这类的内容管理系统，有一些像Yoast和Rank Math这样的插件可以自动生成网站地图。为了帮助搜索引擎找到你的网站地图，你可以在你的robots文件中使用Sitemap指令，并在Google搜索控制台中提交地图。

4️⃣ 重定向

重定向的目的： 重定向将访问者和爬虫从一个URL引导到另一个URL。它们的目的是整合信号。例如，假设你的网站上有两个关于最佳高尔夫球的页面，一个是在domain.com/best-golf-balls-2018上，另一个是在domain.com/best-golf-balls上。由于这两个页面彼此之间高度相关，将2018版本重定向到当前版本是有意义的。通过整合这些页面，你告诉搜索引擎将重定向URL的信号传递到目标URL上。

5️⃣ 链接标签

链接标签的作用： 链接标签是一个HTML代码片段，如下所示。它的目的是告诉搜索引擎页面的首选URL是什么，从而解决重复内容的问题。例如，假设你的网站既可以通过"http://yourdomain.com"访问，也可以通过"https://yourdomain.com"访问。由于某种原因，你无法使用重定向，这两个URL会成为完全相同的副本。但是通过设置一个canonical URL，你告诉搜索引擎页面的首选版本是什么。因此，它们将传递链接到规范化URL上，以避免在两个不同页面上传递链接时的信号稀释。需要注意的是，谷歌可能选择忽略你的canonical标签。回顾上面的例子，如果我们将canonical标签设置为不安全的HTTP页面，谷歌可能会选择安全的HTTPS版本。

😄总结

这些是一些基本概念，当谈到索引时，了解它们对于SEO来说是非常重要的。因为如果你的网页没有被索引，那么其他一切都没有意义。不过，我们不会深入探讨这一点，因为只有在你遇到问题的时候，才需要担心索引问题。相反，我们将专注于技术性SEO的最佳实践，以保持你的网站健康。本课程的剩余部分将在本周晚些时候发布，所以一定要订阅，以免错过。如果你在以后的日期观看本课程，请查看描述部分，我们会在那里提供课程的链接。

FAQ常见问题解答

问：我应该给我的网页添加noindex标签吗？ 答：通常情况下，大多数网页都应该被索引，因为这样才能被搜索引擎发现。只有在特定情况下，例如作者信息页面等提供较少SEO价值的页面，才需要添加noindex标签。

问：我需要手动创建网站地图吗？ 答：如果你使用WordPress等CMS，有很多插件可以自动创建和更新网站地图。这样你就不需要手动创建和维护XML文件了。

问：什么时候使用重定向？ 答：重定向常用于旧网页链接到新网页，整合页面信息和传递信号。当你的网页链接发生变化时，使用重定向将帮助你保持良好的用户体验和搜索引擎信任。

问：canonical标签真的那么重要吗？ 答：canonical标签是解决重复内容问题的一种有效方法，尤其在网站有多个URL指向同一内容时。虽然搜索引擎有时会忽略canonical标签，但正确设置一条canonical URL仍然是一个好的实践。

继续学习

如果你想深入了解SEO，并提升自己的技能，推荐以下资源：

• Ahrefs的SEO课程 for beginners: [insert course link]
• MOZ的SEO入门指南: [insert guide link]
• 谷歌搜索中心的SEO指南: [insert guide link]