禁止直接访问robots.txt文件

很多时候robots.txt 包含了很多信息，有些安全软件把robots当漏洞来处理,实际上这个算不上漏洞，充其量是因此泄露而已!
以下代码是禁止直接访问，但匹配并排除搜索引擎蜘蛛

nginx站点配置文件中加入以下节点：

location = /robots.txt {
    if ($http_user_agent !~* "spider|bot|yahoo|sogou") {
        return 404;
    }
}

然后重载nginx配置