如果想通过禁止某些User Agent特征,同时达成防主流采集、垃圾爬虫、部分SQL注入和防网站被恶意镜像,可以通过以下方法实现。
PS:以下三个方法只能二选一,不能同时使用。
特别声明:以下三个方法的代码来自(或修改自)张戈博客的《服务器反爬虫攻略:Apache/Nginx/PHP禁止某些User Agent抓取网站》。
1、Ngnix代码
进入到nginx安装目录下的conf目录,将如下代码保存为agent_deny.conf。
cd /usr/local/nginx/conf
vim agent_deny.conf
- #禁止Scrapy等工具的抓取
- if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
- return 403;
- }
- #禁止指定UA及UA为空的访问
- if ($http_user_agent ~ " PHP|FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|^$" ) {
- return 403;
- }
- #禁止非GET|HEAD|POST方式的抓取
- if ($request_method !~ ^(GET|HEAD|POST)$) {
- return 403;
- }
然后,在网站相关配置中的location / { 之后插入如下代码:
- include agent_deny.conf;
如张戈博客的配置:
- [marsge@Mars_Server ~]$ cat /usr/local/nginx/conf/zhangge.conf
- location / {
- try_files $uri $uri/ /index.php?$args;
- #这个位置新增1行:
- include agent_deny.conf;
- rewrite ^/sitemap_360_sp.txt$ /sitemap_360_sp.php last;
保存后,执行如下命令,平滑重启nginx即可:
- /usr/local/nginx/sbin/nginx -s reload
2、PHP代码
将如下代码放到PHP网站根目录index.php中的第一个 <?php 之后即可:
- //获取UA信息
- $ua = $_SERVER['HTTP_USER_AGENT'];
- //将恶意USER_AGENT存入数组
- $now_ua = array('PHP','FeedDemon ','BOT/0.1 (BOT for JCE)','CrawlDaddy ','Java','Feedly','UniversalFeedParser','ApacheBench','Swiftbot','ZmEu','Indy Library','oBot','jaunty','YandexBot','AhrefsBot','MJ12bot','WinHttp','EasouSpider','HttpClient','Microsoft URL Control','YYSpider','jaunty','Python-urllib','lightDeckReports Bot');
- //禁止空USER_AGENT,dedecms等主流采集程序都是空USER_AGENT,部分sql注入工具也是空USER_AGENT
- if(!$ua) {
- header("Content-type: text/html; charset=utf-8");
- wp_die('请勿采集本站,因为采集的站长木有小JJ!');
- }else{
- foreach($now_ua as $value )
- //判断是否是数组中存在的UA
- if(eregi($value,$ua)) {
- header("Content-type: text/html; charset=utf-8");
- wp_die('请勿采集本站,因为采集的站长木有小JJ!');
- }
- }
3、WordPress专用版
将以下代码添加到主题functions.php文件最后一个?>即可。
- if(!is_admin()) {
- add_action('init', 'deny_mirrored_request', 0);
- }
- function deny_mirrored_request()
- {
- //获取UA信息
- $ua = $_SERVER['HTTP_USER_AGENT'];
- //将恶意USER_AGENT存入数组
- $now_ua = array('PHP','FeedDemon ','BOT/0.1 (BOT for JCE)','CrawlDaddy ','Java','Feedly','UniversalFeedParser','ApacheBench','Swiftbot','ZmEu','Indy Library','oBot','jaunty','YandexBot','AhrefsBot','MJ12bot','WinHttp','EasouSpider','HttpClient','Microsoft URL Control','YYSpider','jaunty','Python-urllib','lightDeckReports Bot');
- //禁止空USER_AGENT,dedecms等主流采集程序都是空USER_AGENT,部分sql注入工具也是空USER_AGENT
- if(!$ua) {
- header("Content-type: text/html; charset=utf-8");
- wp_die('请勿采集本站,因为采集的站长木有小JJ!');
- }else{
- foreach($now_ua as $value )
- //判断是否是数组中存在的UA
- if(eregi($value,$ua)) {
- header("Content-type: text/html; charset=utf-8");
- wp_die('请勿采集本站,因为采集的站长木有小JJ!');
- }
- }
- }
如果觉得代码麻烦可以安装 wp-ban插件来解决 反向代理恶意镜像