大家做网站难免有些时候不想让某些搜索引擎抓取某些页面,当然可以在根目录下放robots.txt文件屏蔽搜索引擎或者设置搜索引擎可以抓取文件范围以及规则。Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

Robots协议写法说明

  1. User-agent: 这里的代表的所有的搜索引擎种类,*是一个通配符;
  2. Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录;
  3. Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录;
  4. Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录;
  5. Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录);
  6. Disallow: /? 禁止访问网站中所有包含问号 (?) 的网址;
  7. Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片;
  8. Disallow: /ab/adc.html 禁止爬取ab文件夹下面的adc.html文件;
  9. Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录;
  10. Allow: /tmp 这里定义是允许爬寻tmp的整个目录;
  11. Allow: .htm$ 仅允许访问以”.htm”为后缀的URL;
  12. Allow: .gif$ 允许抓取网页和gif格式图片;
  13. Sitemap: 网站地图地址 告诉爬虫这个页面是网站地图;

Robots协议举例

例1. 禁止所有搜索引擎访问网站的任何部分

  1. User-agent: *  
  2. Disallow: /  

例2. 允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt”)

  1. User-agent: *  
  2. Allow: /  

例3. 禁止某个搜索引擎的访问

  1. User-agent: BadBot  
  2. Disallow: /  

例4. 允许某个搜索引擎的访问

  1. User-agent: Baiduspider  
  2. Allow:/  

本站使用的Robots协议

  1. User-agent: *    
  2. Disallow: /feed/    
  3. Disallow: /trackback/    
  4. Disallow: /wp-admin/    
  5. Disallow: /wp-content/    
  6. Disallow: /wp-includes/    
  7. Disallow: /xmlrpc.php    
  8. Disallow: /wp-    
  9. Disallow: /*/comment-page-*  
  10. Disallow: /*?replytocom=*  
  11. Disallow: /category/*/page/    
  12. Disallow: /tag/*/page/  
  13. Disallow: /*/trackback    
  14. Disallow: /feed    
  15. Disallow: /*/feed  
  16. Disallow: /comments/feed  
  17. Disallow: /?s=*  
  18. Disallow: /*/?s=*\    
  19. Disallow: /*?*    
  20. Allow: /wp-content/uploads/    
  21. Allow: /*.png*    
  22. Allow: /*.jpg*    
  23. Allow: /*.jpeg*    
  24. Allow: /*.gif*    
  25. Allow: /*.bmp*    
  26. Sitemap: https://www.bigetheme.com/sitemap.xml    
  就很棒!
hh

请先登录

Or

发表评论

还没有任何评论,你来说两句吧



相关文章

这款WordPress主题的SEO功能是真骚!且强大!HaoSao主题

这款WordPress主题的SEO功能是真骚!且强大!HaoSao主题

WordPress这个网站程序应该是世界上被广泛使用最多的CMS系统了,它不仅开源、免费、功能强大、并且是比较SEO友好的,所以越来…


批量替换WordPress文章内容中的文字

批量替换WordPress文章内容中的文字

如果你在博客的文章中经常加入一些关键词句,但后来准备将这些关键词句替换为其它的内容,手动替换工作量大、而且麻烦。下面的段代码可以非常…


为什么缓存插件对你的WordPress网站很重要

为什么缓存插件对你的WordPress网站很重要

缓存是一项复杂的技术,它可以做好一件简单的事情:它可以让你的网站运行得更快。速度对网站的成功至关重要,因为人们不喜欢等待页面加载。事…


修改WordPress数据库前缀 方便开启缓存以及消除可能存在的安全隐患

修改WordPress数据库前缀 方便开启缓存以及消除可能存在的安全隐患

很多第一次接触 WordPress 的博主站长们在安装 WordPress 的时候,都是直接使用数据库的默认表前缀 wp_,据说这个…


怎么用WordPress免费建网站?

怎么用WordPress免费建网站?

这个说法不太准确,搭建出一个完整的网站是没有免费的。域名、服务器肯定得有,这两项是必备,也是一定需要花一些费用的。 建一个网站需要网…


仿卢松松博客(新版)WordPress博客主题免费下载

仿卢松松博客(新版)WordPress博客主题免费下载

2019款最新仿卢松松WordPress网站主题模版,卢松松最新的网站模版在体验与内容上做到了最极致的优化,通过三栏布局的方式达成了…


简化/屏蔽WordPress后台无用项让后台更简洁

简化/屏蔽WordPress后台无用项让后台更简洁

WordPress的功能十分强大且强悍,但有些功能以及模块我们平时是用不着的,所以今天分享一下如何将某个用不着的功能模块屏蔽掉。 根…


WordPress文章语音阅读插件 Hylsay Text Reading

WordPress文章语音阅读插件 Hylsay Text Reading

说到文章语音阅读,并不是什么新事物,但是确实一个不错的功能,比如为文字小说添加语音阅读功能,可以大大提高用户体验。 如何为您的网站添…


WordPress自动为文章添加相关关键词标签插件:WP AutoTags

WordPress自动为文章添加相关关键词标签插件:WP AutoTags

WordPress有木有现成好用像自带的自动摘要那样,自动为文章添加相关标签的插件呢?WordPress的文章标签功能可以很好的对文…


使用Memcached内存缓存优化 WordPress 自动草稿功能

使用Memcached内存缓存优化 WordPress 自动草稿功能

Memcached 内存缓存可以优化 WordPress 很多功能,让你的 WordPress 变得更快,接下来我们会通过一系列文章…


WordPress建网站前期交了钱为什么第二年还要另外收钱续费?

WordPress建网站前期交了钱为什么第二年还要另外收钱续费?

WordPress建网站前期交了钱为什么第二年还要另外收钱续费? 首先,可以肯定的是,所有的企业网站都需要更新。为什么要续费?我们先…


为在一定时间内发表的文章添加特殊的样式

为在一定时间内发表的文章添加特殊的样式

通过下面的代码,可以为一定时内发表的文章添加“最新文章”提示或者输出不同的样式,加到主题模板主循环中。 代码一 <?php&n…


免费极简WordPress响应式主题Kratos

免费极简WordPress响应式主题Kratos

Kratos是一款响应式WordPress主题,专注于友好用户阅读体验的WordPress主题。 Kratos是来自国人Vtrois…


去除WordPress最新版本的评论勾选框

去除WordPress最新版本的评论勾选框

WordPress升级到4.9.6之后,新增了一个功能,评论处出现一个勾选框,确认是否存储Cookie信息的隐私选项,如果使用自带的…


WordPress会员管理插件:VipSystem Pro

WordPress会员管理插件:VipSystem Pro

概述 VipSystem Pro 是一个基于WordPress平台的插件,帮助站长更好的运营网站。其中包括两大主要功能,数据分析和商…


WordPress禁用Emoji表情提高网站加载速度

WordPress禁用Emoji表情提高网站加载速度

WordPress Emoji 的实现方式会调用 http://s.w.org/images/core/emoji/72×72/ 下…


Avada主题WordPress 最牛的商务主题之一[7.0.2中文汉化版]

Avada主题WordPress 最牛的商务主题之一[7.0.2中文汉化版]

如果是建设企业网站、电子商务网站、网购平台、外贸网站等等,Avada主题都能快速的生成你想要的网站主题,并且不用任何编程知识!Ava…


仿月光博客WordPress模板(旧版),Moonlight blog,月光博客

仿月光博客WordPress模板(旧版),Moonlight blog,月光博客

月光博客是以计算机技术和互联网技术为主的个人IT评论博客。月光博客的目标是成为一个专注于互联网和搜索引擎行业的独特原创的IT评论博客…


为WordPress文章内超链接前面自动增加图标

为WordPress文章内超链接前面自动增加图标

如何自动为Wordpress文章内超链接前面增加图标,如下图所示。 直接上代码吧 在主题的function.php中加入如下代码即可…


一款WordPress 后台缓存插件:WP Admin Cache

一款WordPress 后台缓存插件:WP Admin Cache

使用WordPress建站会安装一些静态缓存插件,比如:WP Rocket、Cache Enabler、Comet Cache、W3…