网站专业知识传播,可承接全国企业网站建设、电商网站建设、微信小程序开发、APP开发、SEO优化排名 客服微信:CQWT666
当前位置:网站建设知识>网站优化>SEO>SEO资讯>如何禁止搜索引擎抓取网站动态网址

如何禁止搜索引擎抓取网站动态网址

2022-04-29 SEO 7.98万阅读 投稿:luoke

现在网络中存在的大多数网站都是由ASP、PHP等语言编辑的动态网站,而且为了用户浏览方便、为了利于网站优化工作等等对网站进行了伪静态处理。但是,精灵SEO小编想要提醒你的是,有的网站的动态链接仍然会被搜索引擎抓取,下面让我们来一块了解下如何禁止搜索引擎抓取网站动态网址。

网站在动态网址和伪静态网址同时可以被搜索引擎抓取的情况下,是会让搜索引擎认为我们的网站存在大量重复页面的,这对优化是不利的。这个时候,我们可以使用robots协议,在协议中禁止搜索引擎抓取网站动态网址。

User-agent: *

Disallow: /*?*

通常很多动态网址里面都有问号,在robots协议中写上面的命令,就能够让搜索引擎了解到网站包含问号的网址是不想让它们抓取的。

User-agent: * 这里的*代表的所有的搜索引擎种类(*是一个通配符)

Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址

声明:重庆建站无忧科技有限公司所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流。

本文标题:如何禁止搜索引擎抓取网站动态网址

本文链接:http://www.jianzhan51.com.cn/article/7877.html

344