闲丫头

您现在的位置是:首页 > SEO优化 > 谷歌SEO优化

谷歌SEO优化

如何使用<META>标签来阻止搜索引擎网络蜘蛛抓取检索网页

闲丫头 2019-12-15 谷歌SEO优化
教你如何使用标签来阻止网络蜘蛛对网页内容的检索

使用标签来阻挡搜索引擎网络蜘蛛抓取网页

你可以使用特定的标签去告知搜索引擎机器人,不要去抓取特定的网页内容。

如果你想要知道,如何去阻挡网页蜘蛛抓取你全部的网站,可以阅读这篇文章( 如何使用robots.txt阻止搜索引擎爬(抓取)你的网站? )

你也可以使用相同的标签,来命令网络蜘蛛不要去扫描网页以及追踪网页连结。

这是一个很好用的标签,即使你只想尝试去限制整个网站的一个网页。

在HTML代码中,'no follow, no index'是基本的:

若要复制使用请将<>改为半形。

<html> <head> <title>...</title> <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> </head> </html>

 

当使用标签时,有三个重点部分是需要牢记的。

1.如果他们愿意,网路机器人可以忽略标签,会忽略标签大多是不良的网路机器人,他们会扫描网路安全漏洞并利用它,或者是使用电子邮件收割机,让滥发邮件者抓取E-mail。

2.NOFOLLOW指令只是用于网页上的连结,如果网络蜘蛛找到其它网页的连结,并且没有使用NOFOLLOW,网络蜘蛛会直接到达这个网页。

3.在这里的NOFOLLOW标签,是不同于rel=”nofollow”属性,你可以设定在<a href>标签里。

撰写给网络蜘蛛看的标签

像其它标签一样使用在HTML,他们应该被放置在HTML代码的部分,就如同范例上。

<META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW">

让我们依照上面的例子再接再厉。

1.NAME属性是使用”ROBOTS”。

 

2.CONTENT属性有四种不同的参数可以设定:

逗号分开参数是允许的,但是只有某些组合是有意义的,如果没有使用标签,对网络蜘蛛的预设而言,是使用INDEX,FOLLOW的,所以你不需要去指定,还是可以被抓取到。

<META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW"> <META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW"> <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

如果你需要进一步的了解,如何阻挡网络蜘蛛抓取你的网站,你可以观看这篇文章( 如何使用robots.txt阻止搜索引擎爬(抓取)你的网站? )

文章评论