使用.htaccess调整或阻止网站机器人和蜘蛛

　　截止2012年，丧尸数据流量超出了互联网上的客流量，均值来讲，您网址上超出50%的浏览量来源于智能机器人而超自然力量。

　　智能机器人具备普遍的主要用途，并不是全部这种全是坏的。有一些智能机器人，例如Google和百度搜索应用的智能机器人，会对您的网页页面开展爬取和数据库索引。

　　假如您要阻拦Googlebot或百度爬虫，您的网址最后将从其数据库索引中删掉;她们没法再浏览它，因而您的內容不容易表明。

　　有一些智能机器人仅用以爬取移动电商网址，找寻买卖。她们交叉引用她们能够寻找的每一个网上商店与给出的商品，因而家中网址能够表明在各种各样店铺的产品报价。

　　一些网址将应用这种来保证 他们坐落于目录的第一位，市场竞争商家根据调节价钱来相互之间推销产品。

　　一些垃圾短信智能机器人将检索blog，找寻并运用各种各样评价系统软件。沒有身份认证或短信验证码的评价能够由智能机器人填好，废弃物评价能够交给不良网站创建连接，捕捉愚昧的互联网客户的点一下，乃至摧毁负面信息百度搜索引擎提升的别的良好网址。

　　一些网络黑客智能机器人爬取网址以查询网址基础设施建设。她们检测域以搜索普遍的/admin.htm款式URL，搜索应用默认设置CMS且未变更登录名或登陆密码等內容的网址。她们检索易受攻击的网址，她们很有可能会搜集管理人员或客户信息，或仅仅将URL汇报给网络黑客智能机器人的使用者。他们很有可能被程序编写为简易地删掉一个网站并且用他们自身的內容更换它。

　　故意智能机器人来源于网络病毒。她们对接客户的电子计算机，不论是公布或是在后台管理，都应用该电子计算机的互联网技术浏览作用来实行病毒感染使用者想要做的一切事儿。一般，这仅仅用以在DDoS进攻中捶击给出的URL，致力于撤销网址，或是注重网络服务器足够让网络黑客根据编码中的不正确进到。

　　收集智能机器人也是故意的;她们如同百度搜索引擎智能机器人一样，抓內容。可是，他们并不是将其加上到检索数据库索引中，只是简易地拷贝內容批發。內容，脚本制作，新闻媒体;它所有免费下载并置放在垃圾短信发布者的网络服务器上，因而她们能够搜集这种数据信息 – 或是仅仅黏贴群发消息 – 其垃圾短信网站的內容。这对她们而言全是一次性的，仅仅她们获得的資源，当它不会再有效时便会丢掉。

　　显而易见，这种智能机器人有很多难题。殊不知，除开她们的目地，她们也有另一个不良反应;网络服务器工作压力。智能机器人可以以简单化的轻量方法浏览您的网址 – 百度搜索引擎智能机器人常常那样做 – 但即便 她们那样做，她们依然浏览您的网址。她们依然下载内容，从您的网络服务器发出请求，而且一般会耗光資源。

　　在很多状况下，这乃至能够击倒一个网站。

　　怎样阻拦智能机器人?

　　有二种方式能够阻拦智能机器人尝试浏览您的网址。一个是根据robots.txt文件，另一个是根据.htaccess文档。

　　什么叫robots.txt文件?

　　robots.txt文件是放到网络服务器网站根目录中的文本文档。其目地是为要想浏览您网址的智能机器人出示具体指导。您能够应用它来阻拦对特殊智能机器人或全部智能机器人的浏览。

　　为什么不应用robots.txt?

　　robots.txt的难题取决于它为智能机器人出示了具体指导。假如智能机器人挑选不重视它 – 我的意思是，假如智能机器人的创始人将其程序编写为忽视robots.txt – 你也就没法做一切事儿。这如同开启你的大门口一样，但贴到的宣传语上写着“歹徒避开。”假如劫匪挑选忽视标示，没什么能阻拦她们踏过大门口。

　　.htaccess文档是Apache Web服务端软件应用的环境变量。它更好像中门的保安人员，积极主动阻拦潜在性的歹徒。除非是在这类状况下，保卫人员有工作能力见到尝试进到的人是不是来源于RobberHome，衣着一件上边写着“我是劫匪”的衬衣，或以别的方法说明真实身份。

　　这代表着.htaccess文档能够积极阻拦大部分智能机器人，但非是全部丧尸程序流程。尤其是，拒绝服务攻击智能机器人 – 来源于单用户的依附电子计算机 – 一般不容易被默认设置阻拦。这是由于这些是基本客户电子计算机，应用基本客户手机软件。假如你阻拦她们，你也就会阻挡人们。可是针对大部分别的智能机器人而言，.htaccess文档是理想化的。

　　一定要注意，仅有在Web服务端运作Apache时才可以应用.htaccess文档。假如您已经应用Nginx，Lighttpd或别的一些冷门服务器架构，那麼您务必寻找此软件阻拦智能机器人的方法。

　　鉴别要阻拦的智能机器人

　　最先，一句警示。根据.htaccess文档阻拦智能机器人时要十分当心。一个错别字，你最后能够阻拦全部互联网技术。显而易见你不想那般。

　　您要做的第一件事是备份数据当今的.htaccess文档。假如发生阻拦您不愿阻拦的总流量的不正确，您能够修复旧文档以复原变更，直至您能够找到存在的问题。

　　您要做的第二件事是搞清楚怎样寻找自身的浏览日志。应用Apache，您必须应用Linux / Unix指令来浏览日志文档。

　　日志文档在其中表明了网络服务器浏览的详细资料。它将表明用以浏览网络服务器的IP地址，手机客户端电子计算机的标志(假如可以用)，设备的客户ID(假如应用身份认证)，要求的時间，是不是由HTTP浏览，情况编码为缺少对象，及其要求的目标的尺寸。

　　日志文档将包括全部基本客户的数据信息及其全部智能机器人访问限制。一些智能机器人，如Google智能机器人，将根据其客户代理商信息内容鉴别自身。坏机器人有时候会鉴别自身，但一般仅有一些特点将他们标识为超自然力量。她们很有可能已经应用一般已被运用的电脑浏览器的落伍版本号。他们很有可能来源于已经知道的垃圾短信详细地址或域。

　　一般，假如智能机器人每月只浏览您的网址一次，您不一定必须担忧它。要是你愿意，你能阻拦它，但它不一定能节约你的時间或活力。您的关键总体目标应该是阻拦不断浏览的智能机器人，并对网络服务器的特性造成不良影响。

　　在按IP地址或IP范畴阻拦时要十分当心。非常容易见到许多智能机器人来源于168. *.*.*，星辰中有各种各样不一样的数据，并觉得“我能阻拦全部这种!阻拦全部/ 8范畴!“难题是，IPv4中的a/ 8范畴是16,777,216个不一样的IP地址，在其中很多很有可能被合理合法客户应用。您能够应用一个过度广泛的标准阻拦很多合理合法总流量。

　　.htaccess文档中的大部分内容不容易根据IP地址阻拦，仅仅由于IP地址太非常容易根据代理商开展变更。大部分将应用客户代理商名字，来源于不用变更的智能机器人的特殊反复IP地址，或一般用以代管spambots或黑客软件的域。

　　应用.htaccess文档

　　大家将根据.htaccess文档应用三种方式来阻拦丧尸程序流程。第一种是最普遍的，应用智能机器人的客户代理商来阻拦它。这一般是靠谱的，由于单用户不容易有着智能机器人客户代理商。

　　在.htaccess文档中，最先必须一行“RewriteEngine on”。这一行保证 一切事后的调用行都能够工作中，而不是被分析为注解。

　　下面，您能够加上“RewriteCond%{HTTP_USER_AGENT} \”做为自身的行。这促使根据客户代理商的调用标准变成很有可能。您有2个挑选;您能够在这里一行以后加上很多不一样的客户代理商，还可以加上一个客户代理商，随后再度加上这家银行。比如：

　　RewriteCond%{HTTP_USER_AGENT} \12soso | \192 \ .comagent | \1noonbot | \1on1searchbot | \3de \ _search2 | \ [NC，OR]

　　要不：

　　RewriteCond%{HTTP_USER_AGENT} ^ [Ww] eb [Bb] andit [NC，OR]RewriteCond%{HTTP_USER_AGENT} ^ $ [NC，OR]RewriteCond%{HTTP_USER_AGENT} ^ Acunetix [NC，OR]RewriteCond%{HTTP_USER_AGENT} ^ binlar [NC，OR]RewriteCond%{HTTP_USER_AGENT} ^ BlackWidow [NC，OR]

　　二者都很好。在第一个实例中，您必须每500个上下的内容加上一个附加的RewriteCond行。这是由于应用一个指令的行越长，Apache就越难分析。将其溶解为单独内容会使其更为错乱，但很有可能更非常容易阅读文章。不管怎样，您能够应用一切一种方式。

　　最终的NC和OR位是调用标示。NC表明“nocase”，表明该内容不区别英文大小写。这代表着“12soso”和“12Soso”的处理方法同样。OR表明“this或that”，由于只需它与目录中的一个或另一个内容配对，便会阻拦智能机器人，而不是“AND”，这将是全部这种内容。

　　在这儿的智能机器人目录以后，您必须特定调用标准。全部这种仅仅两台分子结构句的第一部分：假如URL与其配对，则……第二一部分是产生的事儿。在自身的行上加上“RewriteRule.* – [F，L]”。

　　那样做是将来源于bot客户代理商的一切传到总流量跳转到阻拦的网页页面。从总体上，它推送403 Forbidden编码。[F]是Forbidden，[L]是一个编码，表明应当马上运用调用标准，而不是在分析.htaccess文档的一部分以后。

　　此外二种方式是根据HTTP引入的堵塞，及其根据IP地址的堵塞。

　　要根据HTTP引入来阻拦，应用“RewriteCond%{HTTP_REFERRER}”做为起止行，应用脱离性引入者的域，如www1.free-social-buttons \ .com，并应用[NC，OR]块。以后加上同样的RewriteRule行。你最后会获得那样的物品：

　　RewriteCond%{HTTP_REFERER} www4.free-social-buttons \ .comRewriteRule ^.* - [F，L]

　　最终，您能够简易地根据IP地址开展阻拦。假如您发觉一个特殊的IP地址尤其危害，每钟头向您的网址推送一百次或别的一切內容，您能够阻拦它。只需写出“Deny from *.*.*.*”，在其中星号是IP地址。它看上去像“从173.192.34.95回绝”，最终很有可能用/ 28或是别的物品阻挡一个范畴。

　　键盘快捷键

　　假如全部这种都有点儿过度繁杂，您能够应用快捷方式图标并应用别人放到一起的目录。我找到了2个强烈推荐。最先是来源于HackRepair.com的这一pastebin内容。第二个是Tab Studio中的目录。

　　每一次应用.htaccess文档加上块时，请尽量先应用几类不一样的方式检测对网站的浏览。假如你以一种你没应当被阻拦的方法被阻拦，那麼便会发生难题，你需要修补这一内容。