搜索引擎蜘蛛的分類

搜索引擎蜘蛛的分類!搜索引擎蜘蛛是一個(gè)生動(dòng)且形象的名字，如果把互聯(lián)網(wǎng)看成一個(gè)蜘蛛網(wǎng)，那么Spider就是在網(wǎng)頁上爬來爬去的蜘蛛，搜索引擎蜘蛛通過網(wǎng)頁的鏈接地址來尋找網(wǎng)頁，從網(wǎng)站的一個(gè)頁面(通常是首頁)開始讀取網(wǎng)頁的內(nèi)容，找到網(wǎng)頁中的其他鏈接地址，然后通過這些鏈接地址尋找下一個(gè)網(wǎng)頁，然后這樣循環(huán)下去，直到抓取這個(gè)網(wǎng)站的所有網(wǎng)頁為止。如果把整個(gè)互聯(lián)網(wǎng)看成一個(gè)網(wǎng)站，那么搜索引擎蜘蛛就能夠用這樣的方法把互聯(lián)網(wǎng)上所有網(wǎng)頁的信息都抓取下來。

搜索引擎蜘蛛有怎樣的分類：

一般按照抓取內(nèi)容的額不同可以將搜索引擎蜘蛛分為這幾類：全文索引、目錄索引、元搜索。

1.全文索引

全文搜索引擎從網(wǎng)站提取信息，建立網(wǎng)頁數(shù)據(jù)庫，搜索引擎的自動(dòng)信息搜集功能可以分為兩種。一種是定期搜索，就是每隔一段時(shí)間，搜索引擎主動(dòng)派出蜘蛛程序，對(duì)一定ip地址范圍內(nèi)的互聯(lián)網(wǎng)網(wǎng)站進(jìn)行檢索，一旦發(fā)現(xiàn)有新的網(wǎng)站，會(huì)自動(dòng)提取網(wǎng)站的信息和網(wǎng)址并將其加入自己的數(shù)據(jù)庫。還有一種就是提交網(wǎng)站搜索，就是網(wǎng)站擁有者主動(dòng)向搜索引擎提交網(wǎng)址。

2.目錄索引

目錄索引也被稱之為“分類檢索”，是因特網(wǎng)上最早提供www資源查詢的服務(wù)，它主要通過搜集和整理互聯(lián)網(wǎng)的資源，根據(jù)搜索到的網(wǎng)頁內(nèi)容，將其網(wǎng)址分配到相關(guān)分類主題目錄的不同層次的類目之下，形成像圖書館目錄一樣的分類樹形結(jié)構(gòu)索引。

3.元搜索

元搜索引擎接受用戶查詢請(qǐng)求后，同時(shí)在多個(gè)搜索引擎上搜索，并將結(jié)果返回給用戶，著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等等，中文元搜索引擎中具有代表性的是搜星搜索引擎。推薦閱讀：揭秘SEO網(wǎng)站優(yōu)化有無捷徑可循?