重庆网站建设10年专注营销型网站建设服务2000家企业转战互联网硕果累累

网站地图项目进度查询

全国服务热线

13272887603

重庆做网站关于robots最详细的写法和解释

文章出处:重庆聚牛网络人气:-发表时间:2017-11-24
项目介绍

[ 重庆做网站关于robots最详细的写法和解释 ]

网站建设

重庆做网站关于robots最详细的写法和解释,织梦cms的robots.txt文件的常规写法,帝国cms的robots.txt文件的常规写法,WordPress的robots.txt文件的常规写法

案例标签:
重庆网站 重庆网站建设 网站建设 网站建设知识
设计欣赏

重庆做网站关于robots最详细的写法和解释

废话不多说直接复制粘贴就可以用的robots.txt文件

不允许搜索引擎抓取的User-Agent代码用#号表示写法 User-Agent: #

*号表示允许所有的搜索引擎来抓取这个文件写法     User-Agent: *

一.织梦cms的robots.txt文件的常规写法

User-agent: *

Disallow: /data/

Disallow: /dede/

Disallow: /images/

Disallow: /include/

Disallow: /plus/

Disallow: /special/

Disallow: /templets/

Disallow: /uploads/

Sitemap: www.c2bseo.com/sitemap.xml


robots.jpg


二.帝国cms的robots.txt文件的常规写法

User-agent: *

Disallow: /d/

Disallow: /e/class/

Disallow: /e/data/ 

Disallow: /e/enews/ 

Disallow: /e/update/

Sitemap: http://www.c2bseo.com/sitemap.xml

三.zblogphp的robots.txt文件的常规写法

User-agent: *

Disallow: /admin/ 

Disallow: /script/ 

Disallow: /pluging/ 

Disallow: /function/ 

Disallow: /update/ 

Disallow: /upload/ 

Disallow: /article-image/ 

Disallow: /data/ 

Disallow: /cache/ 

Disallow: /style/ 

Disallow: /tamplate/ 

Disallow: /css/ 

Disallow: /theme/ 

Disallow: /login.php

Disallow: /c_custom.php

Disallow: /c_option.php

Disallow: /cmd.php? 

Disallow: /search.php

Disallow: /atom.xml 

Disallow: /rss.xml 

Disallow: /view.php? 

Disallow: ?s=*

Disallow: /?p=*

Disallow: /feed 

Disallow: */feed

Disallow: */feed*/feed

Disallow: /comments/feed

Sitemap: http://www.c2bseo.com/sitemap.xml

四.

重庆做网站聚牛网络专家教你写robots.txt文件最详细的写法WordPress的robots.txt文件的常规写法

User-agent: *

Disallow: /feed/

Disallow: /trackback/

Disallow: /wp-admin/

Disallow: /wp-content/

Disallow: /wp-includes/

Disallow: /xmlrpc.php

Disallow: /wp-

Allow: /wp-content/uploads/

Sitemap: http://tool.c2bseo.com/sitemap.xml

五.直接上案列新浪微博robots.txt的写法

#限制不能搜索的目录,Disallow: 为空时开放所有目录######

Allow: /admin/blogmove/

Disallow: /admin/

Disallow: /include/

Disallow: /html/

Disallow: /queue/

Disallow: /config/

#开放搜索的目录有####################################

#/

#/advice/

#/help/

#/lm/

#/main/

#/myblog/

#搜索引擎User-Agent代码对照表########################

#搜索引擎User-Agent代码

#AltaVistaScooter

#InfoseekInfoseek

#HotbotSlurp

#AOL SearchSlurp

#ExciteArchitextSpider

#GoogleGooglebot

#GotoSlurp

#LycosLycos

#MSN MSNBOT

#NetscapeGooglebot

#NorthernLightGulliver

#WebCrawlerArchitextSpider

#IwonSlurp

#FastFast

#DirectHitGrabber

#Yahoo Web PagesGooglebot

#Looksmart Web PagesSlurp

#BaiduspiderBaidu


  搜索引擎蜘蛛


六.大向音乐课的robots.txt 写法织梦cms

User-agent: *

Disallow: /data/

Disallow: /dede/

Disallow: /images/

Disallow: /include/

Disallow: /plus/

Disallow: /special/

Disallow: /templets/

Disallow: /uploads/

Sitemap: http://www.dxyyk.cn/sitemap.xml

七.重庆做网站,重庆seo的robots.txt写法

User-agent: *

Disallow: /about

Disallow: /anli

Disallow: /appy

Disallow: /appyingxiao

Disallow: /c2b_test_seo

Disallow: /cache

Disallow: /cmsjianzhan

Disallow: /cmsy

Disallow: /config

Disallow: /daima

Disallow: /dongyingxiao

Disallow: /download

Disallow: /extension

Disallow: /feedback

Disallow: /fuwuqi

Disallow: /googleseo

Disallow: /guize

Disallow: /haowen

Disallow: /hetong

Disallow: /hmseo

Disallow: /img

Disallow: /include

Disallow: /install

Disallow: /jianzhan

Disallow: /jiexi

Disallow: /job

Disallow: /lianxi

Disallow: /link

Disallow: /memeber

Disallow: /messge

Disallow: /news

Disallow: /pingjing

Disallow: /product

Disallow: /quanzhong

Disallow: /rumen

Disallow: /search

Disallow: /seo

Disallow: /seowhy

Disallow: /seoyouhua

Disallow: /sitemap

Disallow: /suanfa

Disallow: /templates

Disallow: /tuiguang

Disallow: /upload

Disallow: /wap

Disallow: /weiy

Disallow: /xiangmu

Disallow: /yingxiao

Disallow: /youhua

Disallow: /yunyingwangzhan

Disallow: /zimeiti

Disallow: /zsjm

Disallow: /zb_system

Disallow: /admin/

Disallow: /test

Disallow: /zb_user/cache

Disallow: /zb_user/upload

Disallow: /zb_user/avatar

Disallow: /zb_user/data

Disallow: /zb_user/emotion

Disallow: /zb_user/plugin

Disallow: /plus/

Disallow: /include/

Disallow: /friendlink/

Disallow: /backup/

Disallow: /data/

Disallow: /zb_install

Disallow: /data/test.html

SiteMap:http://www.c2bseo.com/sitemap_baidu.xml

Robots常见的规则

1、Allow指令: ?允许搜索引擎收录的地址,此指令定义了允许蜘蛛抓些哪些内容,如果是某些内容允许,

其它全部拒绝,则可以用这个指令,大多数网站只用到禁止指令。

2、User-agent指令: 此指令定义了此指令下面的内容对哪些蜘蛛有效。默认所有蜘蛛都允许抓取,

如果此指令指定了特定的蜘蛛,那么此指令下跟的内容就对特定蜘蛛有效。

3、Disallow指令: 指禁止搜索引擎抓取的路径?,也就是说此指令定义了禁止蜘蛛抓取哪些内容

User-agent的用法示例

此指令是用来定义蜘蛛名的

常见的蜘蛛名称包括

百度蜘蛛Baiduspider

谷歌蜘蛛Googlebot

360蜘蛛360spider

SOSO蜘蛛Sosospider

雅虎蜘蛛“Yahoo! Slurp China”或者Yahoo! 

有道蜘蛛YoudaoBot,YodaoBot

搜狗蜘蛛Sogou News Spider、Sogou XXX spider等

MSN蜘蛛msnbot,msnbot-media

必应蜘蛛bingbot 

一搜蜘蛛YisouSpider

等等不一一举例子,这些蜘蛛名称主要可以帮助站长从网站后台服务器下载日志分析数据用的,

Disallow的用法示例

1、禁止整站被抓取

Disallow: /

2、禁止根目录下的woniuseo目录抓取

Disallow: /woniuseo/

3、禁止根目录下的woniuseo目录下的单个页面woniuseo.html被抓取

Disallow:/woniuseo/woniuseo.html

4、禁止全站含有?的页面被抓取

Disallow:  /*?*

5、禁止全站含有woniuseo的页面被抓取

Disallow:  /*woniuseo*

6、禁止全站后缀为.aspx的页面被抓取

Disallow:  /*.aspx$

7、禁止全站后缀为.jpg的文件被抓取

Disallow:/*.jpb

Allow的用法示例

1、允许所有页面被抓取

Allow: /

2、允许woniuseo的目录被抓取

Allow: /woniuseo/

3、允许抓取.html的页面

Allow: /*.html$

4、允许抓取.jpg的图片

Allow: /*.jpg$

 重庆做网站聚牛网络做了一个总结

 新建一个名称为robots.txt文本文件,将上面的内容放进去修改成自己的网站网址,然后上传到网站根目录就可以了,

 最后就要要去检查看一下文件是否存在成效没生效办法是在http://你的域名后面加上/robots.txt,如果显示成功了,

 就代表已经成效了,上面这些只是最基本的写法,不过一般已经足够我们使用了,

推介阅读:重庆做网站不可不知的秘密

此文关键字:重庆做网站,聚牛网络

相关阅读

  • seo在前,建站在后,网站建设前SEOer做的优化设计

    seo在前,建站在后,网站建设前SEOer做的优化设计

    网站建设就是用程序代码将设计好的图文在网络上传达,向大众展示的这样一个构思经过技术手段完成的进程。在这个前面就要做好网站seo的策划,但是事实上很多企业的seo基本都是反着来的

    2018-10-24
  • 重庆网站建设多少钱,便宜的网站建设好不好?

    重庆网站建设多少钱,便宜的网站建设好不好?

    网站建设有两种方式,一种是公司自主购买服务器自己设计,一种是将网站建设整个业务外包出去。前者所需的费用比后者要少很多,但对人员专业性要求很高。很多人都在说便宜的网站建设好不好?一句话,一分钱一分货。那么网站建设的费用主要是在哪些地方呢?

    2018-10-19
  • 【重庆网站建设】网站建设前的seo优化工作有哪些是必须做的?

    【重庆网站建设】网站建设前的seo优化工作有哪些是必须做的?

    ? 网站建设不是一件简单的事,早在建网之前就应该对要做的方方面面的事情做一个细致的梳理,这样才会在建设网站时做到整体把控,做出来的网站才不会与预期的有较大差别。而seo优化工作,是网站建设和运营的重要部分,在网站建设前,seo需要需要做哪些工作呢?

    2018-10-18
  • 【重庆网站建设】重庆万州网站建设多少钱?

    【重庆网站建设】重庆万州网站建设多少钱?

    网站建设成为一个公司的对外展示的窗口之一,重庆万州作为重庆重要的城市之一,重庆万州网站建设多少钱也是一直困扰万州很多公司的问题

    2018-10-15
  • 【重庆地方网站建设】重庆梁平网站建设多少钱?

    【重庆地方网站建设】重庆梁平网站建设多少钱?

    重庆梁平网站建设多少钱?重庆每一个区域的发达程度不一样,对于互联网网站建设多少钱的收取费用也有很大的不同,梁平是重庆相对发达的区域,重庆梁平网站建设要多少钱,如何评断收费的多少

    2018-10-12
  • 【浅析】网站建设,如何提高排名?

    【浅析】网站建设,如何提高排名?

    很多人发现网站建设中做了很长时间的网站优化,关键词也天天做,但是网站排名就是上不去,这是为什么呢?

    2018-09-14
  • 网站建设“快”字诀,这几点你做到了吗?

    网站建设“快”字诀,这几点你做到了吗?

    网站建设的打开速度决定了用户体验。网站有一个7秒理论,用户在7秒内打不开网页,就会选择关闭网页,网站也会因此流失很多客户。怎样建设网站才能有很快的打开速度呢?小编总结了以下几点。

    2018-09-13
  • 四川仙鹤生物技术有限公司

    四川仙鹤生物技术有限公司

    四川仙鹤生物技术有限公司坐落于美丽的四川省德阳市,公司成立于2009年4月,是一家专业从事生产灵芝保健品的公司。

    2018-06-19
  • 重庆初刻智能机械设备有限公司

    重庆初刻智能机械设备有限公司

    重庆初刻智能机械设备有限公司是重庆紫旭旗下全资子公司,公司是一家是一家集研发、制造、销售、服务为一体的智能设备出口企业,公司承接紫旭12年的生产研发经验和9年出口经验,结合国内外智能设备先进经验,引进国外先进设备,立足成为标识设备一站式供应的专业服务商。

    2018-06-13
  • 重庆盛合装饰网站营销案例

    重庆盛合装饰网站营销案例

    2012年,一个以装饰设计为主、基装与软装为辅的多元化装饰艺术设计公司——盛合在重庆成立。

    2018-06-13
我要评论:  
*内 容:
验证码: 点击刷新换一张
 

共有-条评论

正在加载...
0