过期罐头电脑论坛-win7、win10雨人系统下载

过期罐头电脑论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

搜索
雨人系统 过期罐头 视频编辑软件 电脑维修 win7系统下载 win10系统下载
查看: 664|回复: 0
收起左侧

[网站建设] 什么是Robots?Robots有什么作用

[复制链接]
发表于 2013-10-20 08:04:00 | 显示全部楼层 |阅读模式
发贴请勿包含网站外链(直接下载地址和网盘除外),屡犯者将封禁ID、网址永久屏蔽,www.gqgtpc.com感谢支持!

一、Robots是什么意思?
Robots是一个英文单词,对英语比较懂的朋友相信都知道,Robots的中文意思是机器人。而我们通常提到的主要是Robots协议,这也是搜索引擎的国际默认公约。
二、Robots协议是什么?
Robots协议通常被称为是爬虫协议、机器人协议,主要是在搜素引擎中会见到,其本质是网站和搜索引擎爬虫的沟通方式,用来指导搜索引擎更好地抓取网站内容,而不是作为搜索引擎之间互相限制和不正当竞争的工具。
百度为什么称360违反Robots协议呢?主要是因为百度认为360搜素对自身产生了竞争,百度不希望自己旗下的贴吧,文库,知道,百科等网站产品,被360搜素收录,并且在Robots协议中标注屏蔽360搜素,而360直接绕过了robots协议继续采集百度旗下产品网站的信息,因此被百度起诉。
简单的说,任何网站只要在其robots协议中加入禁止某搜索引擎访问,那么该搜索引擎就无权收录该网站的内容。而robots的重要性在于,一个网站有权利可以存在于互联网中,但又不被指定的搜索引擎索引放到搜索结果中,因为搜索引擎在互联网上就像国王,网站就是每个人的小家,而robots协议则是对抗国王的最后利器,正所谓“风能进雨能进国王不能进”。
在网站中,Robots协议是一个记事本文件,我们只要将Robots.txt文件放置在网站跟目录,里边可以标注,哪些网站目录不希望被搜索引擎抓取即可,其格式如下图所示:
1_131019090011_1.jpg
Robots.txt协议文件示例


楼主热帖
[Windows7] win7旗舰版窗口显示效果调整教程
[Windows7] Ubuntu鼎力 冲击WP,市场倾向何方
[系统应用经验技巧] Windows操作系统桌面不见怎样处理 ?
[系统应用经验技巧] 保护Windows服务器需审视的问题
[电脑组装维修] 2016年8月显卡天梯图显卡性能对比列表
[Windows7] 浅谈Windows7 的文件访问审计谋 略
[Windows7] Windows 7系统无法更改IP地址该怎样 办?
[Windows xp] 处理Windows XP不能切换输入法问题
[Windows7] 让Windows 7收藏夹无法展开不再成为问题
[Windows7] 如何找回Windows 7中丢失的回收站?

您需要登录后才可以回帖 登录 | 注册

本版积分规则

win7 64位旗舰版下载|win10系统下载|win7旗舰版|联系我们|网站地图|

GMT+8, 2016-12-7 20:42 , Processed in 0.327910 second(s), 31 queries .

官方免责声明:本站内容来自网友和互联网.若侵犯到您的版权.请致信联系,我们将第一时间删除相关内容!

Powered by Discuz!

过期罐头电脑论坛

win7旗舰版_windows10

快速回复 返回顶部 返回列表