簡單剖析搜索引擎蜘蛛的分類

前面的幾篇文章中我么介紹了幾種seo初學者需要理清的關系，下面小編為大家簡單剖析搜索引擎蜘蛛的分類。按照抓取內容的不同可以將搜索引擎蜘蛛分為以下幾類：

A.全文索引

全文搜索引擎從網站提取信息,建立網頁數(shù)據(jù)庫。搜索引擎的自動信息搜集功能分兩種。

一種是定期搜索,即每隔一段時間(如 Google一般是28天),搜索引擎主動派出蜘蛛程序,對一定IP地址范圍內的互聯(lián)網網站進行檢索,一旦發(fā)現(xiàn)新的網站會自動提取網站的信息和網址并將其加入自己的數(shù)據(jù)庫。

另一種是提交網站搜索,即網站擁有者主動向搜索引擎提交網址。搜索引擎在一定時間內(2天到數(shù)月不等)向網站派出蜘蛛程序,掃描網站并將有關信息存入數(shù)據(jù)庫以備用戶查詢。后來,搜索引擎索引規(guī)則發(fā)生了很大變化,主動提交網址并不能保證網站進入搜索引擎數(shù)據(jù)庫,因此,最好的辦法是多獲得一些外部鏈接,讓搜索引擎有更多的機會找到并自動收錄網站。

當用戶以關鍵詞查找信息時,搜索引擎會在數(shù)據(jù)庫中進行搜尋。如果找到與用戶要求內容相符的網站,便采用特殊的算法(通常根據(jù)網頁中關鍵詞的匹配程度、出現(xiàn)的位置、頻次、鏈接質量)計算出各網頁的相關度及排名等級,然后根據(jù)關聯(lián)度的高低,按順序將這些網頁鏈接返回給用戶。這種引擎的特點是搜全率比較高。

B.目錄索引

目錄索引也稱“分類檢索”,是因特網上最早提供WWW資源查詢的服務。它主要通過搜集和整理因特網的資源,根據(jù)搜索到的網頁內容,將其網址分配到相關分類主題目錄的不同層次的類目之下,形成像圖書館目錄一樣的分類樹形結構索引。目錄索引無須輸入任何文字,只要根據(jù)網站提供的主題分類目錄層層點擊進入,便可查到所需的網絡信息資源。

目錄索引雖然有搜索功能,但在嚴格意義上它不是真正的搜索引擎,只是按目錄分類的網站鏈接列表而已。用戶完全可以按照分類目錄找到所需要的信息,不需依靠關鍵詞( Keyword)進行查詢。與全文搜索引擎相比,目錄索引有許多不同之處。首先,搜索引擎屬于自動網站檢索,而目錄索引則完全依賴手工操作。用戶提交網站信息后,目錄編輯人員會親自瀏覽網站,然后根據(jù)一套自定的評判標準甚至編輯人員的主觀印象決定是否接納該網站。

其次,搜索引擎收錄網站時,只要網站本身沒有違反有關的規(guī)則,一般都能成功登錄;而目錄索引對網站的要求則高得多,有時登錄多次也不一定成功。尤其像Yahoo這樣的超級索引,登錄更是困難。此外,在登錄搜索引擎時,一般不用考慮網站的分類問題,而在登錄目錄索引時則必須將網站放在一個最合適的目錄( Directory)下。

最后,搜索引擎中各網站的有關信息都是從用戶網頁中自動提取的,所以從用戶的角度看,我們擁有更大的自主權;而目錄索引則要求必須手工填寫網站信息,而且還有各種各樣的限制。更有甚者,如果工作人員認為我們提交網站的目錄、網站信息不合適,可以隨時對其進行調整,當然事先是不會和我們商量的。

C.元搜索

元搜索引擎( METASearch Engine)接受用戶查詢請求后,同時在多個搜索引擎上搜索,并將結果返回給用戶。著名的元搜索引擎有 InfoSpace、 Dogpile、 Vivisimo等,中文元搜索引擎中具有代表性的是搜星搜索引擎。在搜索結果排列方面,有的直接按來源排列搜索結果,如 Dogpile;有的則按自定規(guī)則將結果重新排列組合,如Vivisimo。

以上就是小編為大家分享的關于搜索引擎蜘蛛的分類的文章，文章主要內容來源于網絡，由小編整理發(fā)布，如有侵權請聯(lián)系本網站!