Nginx中配置過濾爬蟲的User-Agent方法

這篇“Nginx中配置過濾爬蟲的User-Agent方法”文章的知識點大部分人都不太理解，所以小編給大家總結(jié)了以下內(nèi)容，內(nèi)容詳細(xì)，步驟清晰，具有一定的借鑒價值，希望大家閱讀完這篇文章能有所收獲，下面我們一起來看看這篇“Nginx中配置過濾爬蟲的User-Agent方法”文章吧。

創(chuàng)新互聯(lián)建站專注于扎賚特網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗。 熱誠為您提供扎賚特營銷型網(wǎng)站建設(shè)，扎賚特網(wǎng)站制作、扎賚特網(wǎng)頁設(shè)計、扎賚特網(wǎng)站官網(wǎng)定制、小程序開發(fā)服務(wù)，打造扎賚特網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供扎賚特網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。

一看不得了，基本上都是被一個user agent叫"yisouspider"的東西給刷屏了，一看就不知道是哪的蜘蛛，太沒節(jié)操了。
找到根目錄配置區(qū)，增加user agent過濾判斷語句，發(fā)現(xiàn)叫"yisouspider"的直接返回403

注1：如果需要增加多個過濾，這樣做

 ($http_user_agent ~* "spider1|spider2|spider3|spider4")

，中間用|隔開就行了

注2：如果你是用的是子目錄博客，像我的一樣，那么要找到 "location /blog/" 這樣的區(qū)段去修改

location / {
......其它配置
if ($http_user_agent ~* "yisouspider") {
return 403;
}
}

配置完成wq保存后reload一下nginx，然后使用以下命令自我測試，地址自己改。沒裝curl的我就沒辦法了，自己apt或者yum裝一個吧，神器來的。

curl -i -a "yisouspider" www.slyar.com/blog/

看到返回403就可以了，說明配置成功

以上就是關(guān)于“Nginx中配置過濾爬蟲的User-Agent方法”這篇文章的內(nèi)容，相信大家都有了一定的了解，希望小編分享的內(nèi)容對大家有幫助，若想了解更多相關(guān)的知識內(nèi)容，請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

新聞名稱：Nginx中配置過濾爬蟲的User-Agent方法
文章出自：http://bm7419.com/article10/ipoggo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供手機(jī)網(wǎng)站建設(shè)、網(wǎng)站維護(hù)、品牌網(wǎng)站制作、定制網(wǎng)站、企業(yè)建站、微信小程序

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)