新建一个命名为“robots”的文本文件，robots文件是搜索引擎和网站之间的一个协议。
设置搜索引擎和网站之间的协议，User-agent:*表示和所有搜索引擎协议适用；Disallow:/表示禁止抓取收录全站。
如果只是禁止某一个搜索引擎抓取收录网站的某一个目录，比如要禁止百度抓取收录jinzhi目录，则如图设置。
保存文件后，把文件上传到服务器根目录，即表示搜索引擎和网站之间的协议生效，可以禁止搜索引擎抓取收录网站内容。
除了设置robots协议之外，还可以在网页代码里面设置。在网页<head></head>之间加入<meta name="robots" content="noarchive">代码。表示紧致所有搜索引擎抓取网站和显示快照。
如果要针对某一个搜索引擎禁止抓取，在网页<head></head>之间加入<meta name="baidspider" content="noarchive">代码，表示禁止百度抓取，<meta name="googlebot" content="noarchive">表示禁止谷歌抓取，其他的搜索引擎一样原理。
《优度课堂》是湖南优度网络科技有限公司旗下设立的一个实战经验丰富、落地式的网络营销培训机构，公司创始人谭艳，从事互联网营销12年，是一位实力派的网络营销专家、也是一位资深的微营销导师，累计为上千家企事业单位通过网络营销获得了巨大的收益，也帮助很多微商个人及团队成功转型！
互联网时代你必须要懂得网络营销赚钱模式，参加优度课堂网络营销培训带你走进互联网的成功之道。咨询热线：0731-55587844
| 
|