如何避免蜘蛛陷阱

有一些網(wǎng)站設(shè)計技術(shù)對搜索引擎來說很不友好，不利于蜘蛛爬行和抓取，這些技術(shù)被稱為蜘蛛陷阱。常見的應(yīng)該全力避免的蜘蛛陷阱包括如下這些。

1、Flash
在網(wǎng)頁的某一小部分使用Flash增強視覺效果是很正常的，比如用Flash做成的廣告圖標(biāo)等。這種小Flash和圖片是一樣的，只是HTML代碼中的很小一部分，頁面上還有其他以文字為主的內(nèi)容，所以對搜索引擎抓取和收錄沒有影響。
但是有的網(wǎng)站整個首頁就是一個大的Flash文件，這就構(gòu)成了蜘蛛陷阱。搜索引擎抓取的HTML代碼只有一個連向Flash文件的鏈接，沒有其他文字內(nèi)容。讀者可以參考前面例子的源代碼，搜索引擎是無法讀取Flash文件中的文字內(nèi)容和鏈接的。這種網(wǎng)站整個就是一個Flash的網(wǎng)站，可能視覺效果做得精彩異常，可惜搜索引擎看不到，不能索引出任何文字信息，也就無從判斷相關(guān)性。
有的網(wǎng)站喜歡在首頁放一個Flash動畫片頭(FlashIntro)，用戶訪問網(wǎng)站看完片頭后被轉(zhuǎn)向到真正的HTML版本的文字網(wǎng)站首頁，搜索引擎不能讀取Flash，一般也沒辦法從FlashIntro跟蹤到HTML版本頁面。
近幾年搜索引擎不停嘗試讀取Flash文件，尤其是里面的文字內(nèi)容和鏈接，也取得了一定進展.站長可以使用SWFObject和sIFR等技術(shù)使Flash文件更易于被搜索引擎讀取不過我的觀點是，與其費勁去研究怎么讓搜索引擎讀取Flash文件，不如裝成普通的HTML版本的網(wǎng)站，如果你的網(wǎng)站除了Flash外不足以展現(xiàn)公司實力，那么你的公司應(yīng)該是世界500強級別的.SEO就不重要了。
整個網(wǎng)站就是一個大Flash文件，從SEO角度來說是萬萬不可的。如果Flash效果是必需的，至少也需要在首頁加上一個通往HTML版本的鏈接，這個鏈接應(yīng)該是在Flash文件之外的HTML代碼中，搜索引擎跟蹤這個鏈接可以抓取后面的HTML版本頁面。
2、SessionID
有些網(wǎng)站使用SessionID〔會話ID)跟蹤用戶訪問，每個用戶訪問網(wǎng)站時都會生成獨特唯一的SessionID，加在URL中，搜索引擎蜘蛛的每一次訪問也會被當(dāng)成一個新的用戶，URL中會加上一個不同的SessionID，這樣搜索引擎蜘蛛每次來訪問時所得到同一個頁面的URL將不一樣，后面帶著一個不一樣的SessionID.這也是最常見的蜘蛛陷阱之一。
搜索引擎遇到這種長長的SessionID，會嘗試判斷字符串是SessionID還是正常參數(shù).成功判斷出SessionID就可以去掉SessionID，收錄正常URL.但也經(jīng)常判斷不出來，要么不愿意收錄，要么收錄多個冊有不同SessionID的URL，內(nèi)容卻完全一樣，形成大量復(fù)制內(nèi)容，這兩種情況對網(wǎng)站優(yōu)化都不利。
通常建議跟蹤用戶訪問應(yīng)該使用cookies而不要生成SessionID，或者程序判斷訪問者是搜索引擎蜘蛛還是普通用戶，如果是搜索引擎蜘蛛，則不生成SessionID，跟蹤搜索引擎蜘蛛訪問是沒什么意義的，蜘蛛既不會填表，也不會把商品放入購物車 。
3、各種跳轉(zhuǎn)
除了后面會介紹的301轉(zhuǎn)向以外，搜索引擎對其他形式的跳轉(zhuǎn)都比較敏感，如302跳轉(zhuǎn).JavaScript跳轉(zhuǎn)、Flash跳轉(zhuǎn)、MetaRefresh跳轉(zhuǎn)。
有些網(wǎng)站用戶訪問首頁時會被自動轉(zhuǎn)向到某個目錄下的頁面，如果是按用戶地理位置轉(zhuǎn)向至最適合的目錄，那倒情有可原，但大部分這種首頁轉(zhuǎn)向看不出任何理由和目的，這樣的轉(zhuǎn)向能避免則避免。
如果必須轉(zhuǎn)向，301轉(zhuǎn)向是搜索引擎推薦的、用于網(wǎng)址更改的轉(zhuǎn)向，可以把頁面權(quán)重從舊網(wǎng)址轉(zhuǎn)移到新網(wǎng)址。其他轉(zhuǎn)向方式都對蜘蛛爬行不利，原因在于后面作弊一章所要介紹的，黑帽SEO經(jīng)常使用轉(zhuǎn)向欺騙搜索引擎和用戶，所以除非萬不得已，盡量不要使用301轉(zhuǎn)向以外的跳轉(zhuǎn)。
4、框架結(jié)構(gòu)
如果作為站長的你不知道什么是框架結(jié)構(gòu)(Frame)，那么恭喜你，你已經(jīng)避免了這個蜘蛛陷阱，根本沒必要知道什么是框架結(jié)構(gòu)，如果你在網(wǎng)站設(shè)計中還在使用框架結(jié)構(gòu)，我的建議是立即取消。
使用框架結(jié)構(gòu)設(shè)計頁面，在網(wǎng)站誕生初期曾經(jīng)挺流行，因為對網(wǎng)站的頁面更新維護有一定方便性，不過現(xiàn)在的網(wǎng)站已經(jīng)很少使用框架了，不利于搜索引擎抓取是框架越來越不流行的重要原因之一。對搜索引擎來說，訪問一個使用框架的網(wǎng)址所抓取的HTML只包含調(diào)用其他HTML文件的代碼，并不包含任何文字信息，搜索引擎根本無法判斷這個網(wǎng)址的內(nèi)容是什么，雖然蜘蛛可以跟蹤框架中所調(diào)用的其他HTML文件，但是這些文件經(jīng)常是不完整的頁面，比如沒有導(dǎo)航只是正文，搜索引擎也無法判斷框架中的頁面內(nèi)容應(yīng)該屬于主框架，還是屬于框架調(diào)用的文件。
總之，如果你的網(wǎng)站還在使用框架，或者你的老板要使用框架結(jié)構(gòu)，唯一要記住的是，忘記使用框架這回事。和Flash一樣，別浪費時間研究怎么讓搜索引擎收錄框架結(jié)枃網(wǎng)站。
5、動態(tài)URL
動態(tài)URL指的是數(shù)據(jù)庫驅(qū)動的網(wǎng)站所生成的、帶有問號、等號及參數(shù)的網(wǎng)址，一般來說動態(tài)URL不利于搜索引擎蜘蛛爬行，應(yīng)該盡量避免。
6、JavaScript鏈接
由于JavaScript可以創(chuàng)造出很多吸引人的視覺效果，有些網(wǎng)站喜歡使用JavaScript腳本生成導(dǎo)航系統(tǒng)，這也是比較嚴(yán)重的蛛蛛陷阱之一，雖然搜索引擎都在嘗試解析s腳本不過我們不能寄希望于搜索引擎自己去克服困難，而要讓搜索引擎跟蹤爬行鏈接的工作盡一量簡單容易。
據(jù)我觀察，雖然有的搜索引擎在技術(shù)上可以獲得JavaScript腳本中包含的鏈接，甚至可以執(zhí)行腳本并跟蹤鏈接，但對一些權(quán)重比較低的網(wǎng)站，搜索引擎覺得沒有必要，不會費那個勁，所以網(wǎng)站上的鏈接必須使用最簡單標(biāo)準(zhǔn)的HTML鏈接，尤其是導(dǎo)航系統(tǒng)用css做導(dǎo)航系統(tǒng)一樣可以實現(xiàn)很多視覺效果。
JavaScript鏈接在SEO中也有特殊用途，那就是站長不希望被收錄的頁面(比如沒有排名意義的頁面，重復(fù)內(nèi)容頁面等)，不希望徹底權(quán)重的鏈接，可以使用JavaScript腳本阻擋搜索引擎爬行。
7、要求登錄
有些網(wǎng)站內(nèi)容放在需要用戶登錄之后才能看到的會員區(qū)域，這部份內(nèi)容搜索引擎無法看到，蜘蛛不能填寫用戶名、密碼，也不會注冊。
8、強制使用Cookies
有些網(wǎng)站為了實現(xiàn)某種功能，如記住用戶登錄信息、跟蹤用戶訪問路徑等，強制用戶使用Cookies，用戶瀏覽器如果沒有啟用Cookies，頁面顯示不正常.搜索引擎蜘蛛就相當(dāng)于一個禁用了Cookies的瀏覽器，蕪湖網(wǎng)站設(shè)計強制使用Cookies只能造成搜索引擎蜘蛛無法正常訪問。

分享標(biāo)題：如何避免蜘蛛陷阱
文章URL：http://www.bm7419.com/news40/148640.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供域名注冊、移動網(wǎng)站建設(shè)、外貿(mào)建站、手機網(wǎng)站建設(shè)、云服務(wù)器、做網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)