如何避免蜘蛛重復抓取一個頁面

問題：如何避免蜘蛛重復抓取一個頁面？

回答：蜘蛛重復抓取頁面是正常的，蜘蛛抓取頁面的依據是看頁面內容是否發(fā)生了變化，如果每次抓取頁面都有變化，那么抓取就會更加頻繁。如果多次抓取后發(fā)現頁面都沒有變化，就會減少抓取。所以不要刻意讓蜘蛛不重復抓取某個正常的頁面。

蜘蛛多次重復的抓取頁面，就說明這個頁面的更新頻繁。這是個好的現象，我們可以去對這個頁面進行分析，看看到底是哪個內容模塊經常有更新。而其他的頁面則可以參考，也加大這些頁面的更新頻率，這樣整個網站的抓取頻次就會增多。

當然，想要整體增加蜘蛛抓取頻次的話，內容的數量和內容的持續(xù)更新也需要注意。通常，內容越多的網站，蜘蛛的抓取頻次就越高。

另外有些動態(tài)頁面，或者是某些數據庫文件，大家要注意。這些頁面更新會很頻繁，如果給蜘蛛提供了鏈接入口，那么蜘蛛就會經常來抓取這些頁面，這個細節(jié)問題大家也要注意下，對于這些沒有必要被收錄的頁面，要隱藏好鏈接入口。

還有就是sitemap這個網站地圖文件，搜索引擎之所以會頻繁抓取，其實也是跟文件的更新有關系。如果我們的網站地圖是動態(tài)的，那么網站一旦更新內容，網站地圖就會產生變化，搜索引擎蜘蛛每次過來都能發(fā)現新的鏈接，因此它就會頻繁來抓取。

關于如何避免蜘蛛重復抓取一個頁面的問題，筆者就簡單的說這么多?？傊畞碚f，如果蜘蛛重復抓取的是正常的需要優(yōu)化的頁面，那就不要去管它。如果是那些不需要優(yōu)化的動態(tài)頁面，就要想辦法隱藏鏈接入口，再在robots文件上限制抓取。最后再提醒下，蜘蛛抓取頁面跟頁面的內容更新有關系，大家可以根據這個原理去對網站收錄進行優(yōu)化。

文章名稱：如何避免蜘蛛重復抓取一個頁面
文章鏈接：http://bm7419.com/news19/236919.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供網站制作、響應式網站、網站改版、網站策劃、全網營銷推廣、小程序開發(fā)

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)