元机器人标记并不是什么新鲜事物。实际上,在许多情况下,您可能需要使用一些元机器人标签,例如noarchive标签。在大型网站上,管理版块可能会变得充满挑战。如此之多,您可能想使用一些元机器人标签来控制搜索引擎如何完全查看,索引和忽略该页面。让我们看一下noarchive标签,看看它能做什么。
关于noarchive标签
有些元标记可以帮助您确定希望搜索引擎怎样对网页进行爬网或编制索引。noarchive标记与是否存在页面的缓存副本有关。
创建网页时,通常需要启用所有可能的选项。但是,在网站的整个生命周期中,您可能希望限制页面的功能。
例如,出于某种原因,说您不希望Google缓存该页面(特别是如果您即将对其进行更新)。通过使用noarchive标签,您将能够告诉Google“我不希望您缓存它。”使用noarchive标签不会对搜索排名产生重大影响。
您如何创建noarchive标签?
您可以使用以下代码段:或者,您可以使用百度特定的代码:第一种实现方式适用于所有机器人。第二个适用于BAIduspider。
百度缓存页面是件好事吗?
有可能。例如,即使您的网站已关闭,人们也可以访问您的页面。
百度还提供了页面的“纯文本”版本,可让您了解其“看到”页面的方式。
什么时候应该使用noarchive标签?
时间敏感的内容以及您不想发布给所有人的其他类型的内容应被归档。
这样可以防止您的内容被百度完全缓存。
这些内容包括:广告您不希望百度缓存。您不希望所有人看到的任何PPC登陆页面。您不想在历史上公开的内部文件。您不希望缓存历史记录的任何其他敏感文档。对于其中某些情况,您可能已经有传统上没有索引的内容,或者robots.txt不允许使用指令。
对于其他人,noarchive标签可以是您最好的朋友。
使用noarchive会受到惩罚吗?
没有。过去,有些人担心网站伪装对搜索引擎可能是一个危险信号。
不过,根据百度的官方说法,使用该标签没有任何问题,此标记仅删除页面的“缓存”链接。百度将继续为该页面编制索引并显示一个代码段。
您还可以使用其他哪些标签?
我们讨论的以上标记不是唯一可以用来限制搜寻器活动的标记。在声明搜寻器指令时,可以使用许多其他标记。
这些基本指令并不是什么新鲜事物,但是关于它们的最佳实践却存在很多困惑。我们想把这个混乱的部分归咎于这份清单的其余部分。
这些标签可以帮助建立索引,跟踪,缓存和其他基本功能。通过使用这些标记,您可以确定优先级,并确保要索引的站点部分已建立索引。它们也非常适合排除您可能不想显示给所有人的内容。
当您要防止索引编制时:noindex
代码实现:正确使用此标签后,该标签用于让搜索引擎知道他们不应为此特定页面编制索引。
如果您有部分内容只希望留给用户使用(例如PPC广告或您可能不想为其编入索引的其他广告),则可以在这些页面上使用noindex标记。
允许搜索引擎索引页面:索引
代码实现:这有一个问题:您不必使用标签。这是多余的。搜寻器的默认行为是搜寻您的网站并为其编制索引!
当您的网站证明其价值时,他们将这样做。像这样添加一个标签只会增加冗余和不必要的代码膨胀。
让搜索引擎跟随您的链接
代码实现:这一步骤将使搜寻器建立索引并跟踪页面上的链接。另外,以这种方式跟随链接将传递所有重要的链接汁,这进一步提高了接收链接汁的页面。
当您不希望搜索引擎跟随您的链接时
代码实现:取消跟随链接将对其进行设置,以使它们不通过链接所有权或以其他方式增强链接将提升页面的权重。
过去几年,Follow / nofollow被广泛使用,这就是为什么如今您发现一些具有许多nofollowed链接的老站点的原因。
通过以这种方式使用nofollow和遵循指令,可以正确地对接收页面的权重进行排除。
如今,这种做法被视为垃圾链接。除非您知道自己在做什么,则不应该使用nofollow。
为什么要阻止特定页面接收所有重要的权重?
nofollow的新规则
似乎还不够,今年早些时候搜索引擎推出了nofollow标签的新规则,这使事情进一步复杂化。
以前,如果需要,您可以简单地将任何广告链接指定为nofollow。它们不会传递价值,而搜索引擎会忽略它们。
现在,新规则创建了新的名称,以区分出于广告原因的链接。用户生成的内容也被赋予了新标签。现在,如果用户生成的内容(例如评论)违反了您网站的政策,则可以将其标记为nofollow。
总结
控制搜寻器并不复杂。通过提高搜寻器的能力,可以区分您希望它们爬行的内容和您不希望它们爬行的内容,这可以帮助您控制可能不想显示给所有人的内容。控制爬虫也不难。但是,很难评估您的总体策略以及下一步应该去哪里。请不断测试,学习和执行。
|