【岳阳seo】使用robots.txt屏蔽蜘蛛对网站的抓取

　　百度搜索引擎智能机器人持续爬取网址，便于将他们加上到百度搜索引擎数据库索引中。可是，有时候开发者期待将自身的网址或特殊网页页面掩藏在百度搜索引擎結果中，在这类状况下，robots.txt可用以阻拦百度搜索引擎搜索引擎蜘蛛浏览网址。在本实例教程中，您将学习培训怎样建立robots.txt文件并阻拦百度搜索引擎搜索引擎蜘蛛浏览或爬取网址。

　　流程1 – 浏览网络服务器并建立新文档

　　最先，建立一个robots.txt文件，能够 应用FTP手机客户端或宝塔面板将该上传文件至隶属网址的根目录下。

　　第二步 – 编写robots.txt

　　每一个百度搜索引擎都是有自身的爬取专用工具(user-agen)，在robots.txt中，您能够 特定爬取专用工具User-agent。互联网技术有数以百计网络爬虫，但最普遍的是：

　　Googlebot

　　Yahoo! Slurp

　　bingbot

　　AhrefsBot

　　Baiduspider

　　Ezooms

　　MJ12bot

　　YandexBot

　　比如，假如想阻拦百度搜索爬取专用工具浏览正规网站，则能够 应用下列标准编写robots.txt：

　　User-agent: Baiduspider

　　Disallow: /

　　假如要阻拦全部百度搜索引擎爬取专用工具，能够 应用*做为使用通配符：

　　User-agent: *

　　Disallow: /

　　假如要阻拦百度搜索引擎爬网程序流程仅浏览特殊文档或文件夹名称，则应用相近英语的语法，可是，必须特定文档或文件夹名称的名字。假定大家想阻拦百度搜索引擎爬取专用工具仅浏览文章内容文件夹名称(articles)和private.php文件。在这类状况下，robots.txt文件的內容应以下所显示：

　　User-agent: *

　　Disallow: /articles/

　　Disallow: /private.php

　　进行编写robots.txt文件后，储存变更，并提交至网址的根目录下。能够 在浏览器搜索栏中键入，网站域名/robots.txt 开展查询。