CPU100%问题解决了。。

        #  拒绝常见爬虫和恶意机器人

if  ($http_user_agent  ~*  "(curl|Wget|python|bot|spider|crawler)")  {

        return  403;

}    用了这段代码  就正常了

但是这个  好像会让搜索引擎不收录。。。  哎  无语了！

增加特定爬虫允许，比如googlerobots这种的，想哪个搜索引擎添加哪个，其他的禁止。

JefferZ 增加特定爬虫允许，比如googlerobots这种的，想哪个搜索引擎添加哪个，其他的禁止。

主要是bing  抓取太猛了  能给段代码吗

ikuncn 主要是bing 抓取太猛了 能给段代码吗

你把整个你的限制代码，放到ai，比如kimi，直接和他说，  比如。增加bing和google的抓取开放，允许抓取，但是限制频率，然后让kimi给你一段新的代码，我记得是可以限制抓取频次的。频次限制你和ai具体问下。

JefferZ 你把整个你的限制代码，放到ai，比如kimi，直接和他说， 比如。增加bing和google的抓取开放，允许抓取，但是限制频率，然后让kimi给你一段新的代码，我记得是可以限制抓取频次的。频次限制你和 ...

谢谢