我们都知道可以通过robots.txt来引导蜘蛛抓取内容，多个域名的时候可以301重定向转移权重，但有时候我们可能要特定某个域名不允许抓取，这个时候就需要rewrite来控制。 如果要直接屏蔽蜘蛛抓取，可以参考我的另外一篇文章 点击查看 注：HTTP_USER_AGENT 里面是要屏蔽的蜘蛛，根据直接需要添加就可以了。 iis、apache的规……