Apache禁止指定user_agent（防止爬虫扒取）-创新互联

该功能可以禁止部分我们不需要的访问名单（），通过改写rewrite模块来实现。

tail /tmp/

tail  /usr/local/apache2/logs/test.com-access_20150121_log

在rewrite模块中添加如下信息:

RewriteCond %{HTTP_USER_AGENT} ^.*curl.* [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^.*chrome* [NC]

RewriteRule .* - [F]

保存退出

测试

apachectl -t

apachectl restart

curl -x127.0.0.1:80 www.test.com/data/forum.php（默认403错误）

curl -x192.168.11.160:80 www.test.com/data/forum.php（默认403错误）

vi  /usr/local/apache2/conf/extra/httpd-vhosts.conf（注释掉）

# RewriteCond %{HTTP_USER_AGENT} ^.*curl.* [NC,OR]

apachectl -t

apachectl restart

curl -x192.168.11.160:80 www.test.com/adsjkf（404）

curl -x192.168.11.160:80 www.test.com/forum.php -I（200）

浏览器 www.test.com

curl -A "sdfsadsdfa"  -x192.168.11.160:80 www.test.com/forum.php -I

curl -A "sdfsadchrome  sdfa"  -x192.168.11.160:80 www.test.com/forum.php -I

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。