网站一般欢迎蜘蛛访问，因为蜘蛛意味着搜索排名和流量，但有时候，大量垃圾蜘蛛甚至爬虫访问很影响性能，特别是服务器配置不高的情况下，那么我们该怎样屏蔽掉垃圾蜘蛛呢？
在nginx 的配置文件目录新建文件 deny_robot.conf 并写入一下内容：
if ($http_user_agent ~* (wget|curl|scrapy|curl|unknown|TTD-Content|BLEXBot|httpclient|AppEngine|java|dotbot|netcraftsurveyagent|AhrefsBot|GrapeshotCrawler|mj12bot|jakarta|python|php)) {
return 403;
}接下来只需要在需要屏蔽蜘蛛的网站配置节引入刚才配置的文件即可。如 include deny_robot.conf