从表面上看，这是有道理的。不过，问题出在这里——那些红色箭头现在是切割路径，可能会阻挡蜘蛛。如果蜘蛛永远不会回到评论页面，他们就永远不会阅读 NOINDEX 并且他们不会取消索引页面。最好的情况是，它会花费更长的时间（并且在大型网站上取消索引已经花费了太长时间）。 修复，第 2 部分 相反，让我们保持路径打开（让链接跟随）。这样，爬虫将继续访问页面，重复的评论 URL 应该逐渐消失： 带有后续链接的产品页面 请记住，此过程仍可能需要一段时间（在大多数情况下为数周）。每天监控您的索引（使用“site:”运算符）——您正在寻找随着时间的推移逐渐减少的情况。
如果发生这种情况，你的状态很好。专业提示：不要对任何一天的“站点：”计数过于认真——它有时可能不可靠。观察一段时间内的趋势。 新站点与现有站点 我认为重要的是要注意此问题仅适用于现有站点，其中重复的 URL 已被编入索引。如果您要启动一个新网站，那么将 nofollows 放在评论链接上是完全合理的。在对不 法国 WhatsApp 号码 良 URL 进行取消索引后，您可能还希望将 nofollows 放在适当的位置。关键是不要马上做——给爬虫时间做他们的工作。 301、Rel-canonical等 尽管我的示例使用了 nofollow 和 META NOINDEX，但它适用于任何阻止内部链接（包括彻底删除）的方法以及任何基于页面或基于标题的索引提示。这包括 301 重定向和规范标签（rel-canonical）。
为了处理这些信号，谷歌必须抓取页面——如果你在谷歌重新抓取之前切断路径，那么这些信号将永远无法发挥作用。 不要超越自己 想要快速解决问题是很自然的（尤其是当您面临流量损失和收入损失时），索引问题可能非常令人沮丧，但要做好计划并留出处理时间。当您在处理去索引信号之前阻塞爬网路径或尝试将除厨房水槽之外的所有东西都扔给问题时（NOINDEX + 301 + canonical + ？），您通常会产生比您解决的问题更多的问题。为工作选择最好的工具，并给它时间工作。 更新：一些评论者指出，您可以使用 XML 站点地图来鼓励 Google 重新抓取没有内部链接的页面。这是一个很好的观点，而且我老实说忘了提及。虽然内部链接仍然更强大，但带有 nofollow'ed（或删除）URL 的 XML 站点地图可以帮助加快该过程。当无法将 URL 放回原位时（例如，完全重新设计），这尤其有效。