如何使用Robots避免蜘蛛黑洞？

蜘蛛黑洞：

蜘蛛黑洞指的是網(wǎng)站通過極低的成本運營，制造出大量和內(nèi)容相識但參數(shù)不同的動態(tài)URL ，像一個無限循環(huán)的“黑洞”將蜘蛛困住，蜘蛛花費太多的時間在網(wǎng)站，浪費了大量資源抓取的網(wǎng)頁為無效網(wǎng)頁。

如果你的網(wǎng)站存在蜘蛛黑洞現(xiàn)象，盡快的處理好，蜘蛛黑洞不利于網(wǎng)站的收錄，也會影響搜索引擎對網(wǎng)站的評分。

如何使用Robots避免蜘蛛黑洞？

如何利用Robots避免蜘蛛黑洞操作：

普通的篩選結(jié)果頁基本都是使用靜態(tài)鏈接，比如：

http:// bj.XXXXX. com/category/zizhucan/weigongcun

當用戶選擇不同排序后，會自動生成帶有不同參數(shù)的動態(tài)鏈接，即使選擇是同一種排序條件，生成的參數(shù)也有不同的，比如：

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

把帶有不同參數(shù)的結(jié)果排序頁面使用robots規(guī)則拒絕，告知搜索引擎，讓搜索引擎只抓取篩選結(jié)果頁，為用戶和搜索引擎節(jié)省時間。

Robots文件寫法中Disallow: /*?* 禁止訪問網(wǎng)站中所有包含問號 (?) 的網(wǎng)址，通過這種方式，如果網(wǎng)站的無效頁面不希望被搜索引擎收錄，可以屏蔽掉低質(zhì)量的頁面，告訴搜索引擎哪些頁面可以抓取，有效的避免黑洞的形成。

文章題目：如何使用Robots避免蜘蛛黑洞？
文章鏈接：http://www.bm7419.com/news49/212999.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站建設、網(wǎng)站內(nèi)鏈、服務器托管、定制網(wǎng)站、網(wǎng)站策劃、微信公眾號

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)