蜘蛛往哪爬？

一：什么是蜘蛛Spider?

我們先來看一下百度百科上是怎么說的：蜘蛛Spider是搜索引擎的一個自動程序。它的作用是訪問收集整理互聯(lián)網(wǎng)上的網(wǎng)頁、圖片、視頻等內(nèi)容，然后分門別類建立索引數(shù)據(jù)庫， 使用戶能在百度搜索引擎中搜索到您網(wǎng)站的網(wǎng)頁、圖片、視頻等內(nèi)容。
PS：簡單說就是一款抓取互聯(lián)網(wǎng)信息的程序。

二：蜘蛛Spider的分類

1.批量型Spider：有明顯的抓取范圍和目標(biāo)，有抓取時間、數(shù)據(jù)量或固定在范圍內(nèi)頁面限制的抓取程序，一般我們使用的采集工具就是這類Spider。
2.增量型Spider：沒有固定目標(biāo)、范圍和時間限制，永無休止地進(jìn)行抓取，直至把全網(wǎng)的數(shù)據(jù)抓完為止。目前常見搜索引擎（百度/google等）的Spider都是這類Spider。
3.垂直型Spider：跟增量型Spider相似，但抓取范圍有針對性（如：特定主題、特定內(nèi)容或特定行業(yè)的網(wǎng)頁）地抓取。這類Spider一般用于垂直搜索引擎。

三：蜘蛛Spider的抓取策略

1.深度優(yōu)先策略：即一直沿著一條路往下走，走到?jīng)]路了，再回過頭來走另外一條路，如此類推.

2.廣度優(yōu)先策略：Spider在一個頁面上發(fā)現(xiàn)多個連接時，先把這些頁面抓一遍，然后再抓從這些頁面中提取下來的鏈接

此外還有“重要頁面優(yōu)先抓取策略”、“大站優(yōu)先策略”、“再次抓取更新策略”在這就不一一說明了，有興趣的朋友可以在網(wǎng)上查看相關(guān)資料。

四：Spider和普通用戶的區(qū)別

較后跟大家講解一下Spider和普通用戶瀏覽一個網(wǎng)站時的區(qū)別，因為這塊網(wǎng)絡(luò)上存在很多說法，有些存在一些誤區(qū)。目前一些大型搜索引擎（百度、谷歌等）都表示Spider對網(wǎng)站的抓取行為和普通用戶的訪問沒太大區(qū)別。但問題真的區(qū)別不大嗎？
用戶能看到而Spider不一定能看到的：如：圖片中的信息、視頻中的內(nèi)容、FLASH、登陸、注冊、回復(fù)可見內(nèi)容等。Spider能看到而用戶不一定能看到的：是否有隱藏內(nèi)容、是否掛黑鏈等。可見，某種程度上來講用戶與Spider各自所獲取到的信息還是有區(qū)別的。

Spider方面的知識就講到這了，成都創(chuàng)新互聯(lián)主要是想讓一些對Spider不了解的朋友對此有一定的認(rèn)識，如想深入了解Spider方面的知識，可以尋找一些搜索引擎原理方面的書籍、文章來進(jìn)行深入學(xué)習(xí)！歡迎大家持續(xù)關(guān)注網(wǎng)站建設(shè)公司的網(wǎng)站，希望大家能夠從創(chuàng)新的網(wǎng)站中學(xué)到東西，增強(qiáng)自己的知識。

分享題目：蜘蛛往哪爬？
文章位置：http://www.bm7419.com/news42/107542.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供手機(jī)網(wǎng)站建設(shè)、標(biāo)簽優(yōu)化、電子商務(wù)、品牌網(wǎng)站設(shè)計、網(wǎng)站營銷、外貿(mào)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)