成都網(wǎng)站日志說(shuō)明成都網(wǎng)站建設(shè)不同搜索引擎如何爬行網(wǎng)站的

網(wǎng)站日志可以記錄最近24小時(shí)，網(wǎng)站的訪問情況，包括搜索引擎的訪問。作為一個(gè)專業(yè)的SEO人員，分析網(wǎng)站日志查看不同搜索引擎是如何爬行網(wǎng)站，然后通過(guò)分析結(jié)果對(duì)網(wǎng)站進(jìn)行優(yōu)化，是非常必要的一個(gè)過(guò)程。不同搜索引擎爬行網(wǎng)站的規(guī)律不同，經(jīng)統(tǒng)計(jì)成都網(wǎng)站建設(shè)網(wǎng)站日志得知，百度蜘蛛爬行網(wǎng)站是最頻繁的，但是爬行深度是最淺的，相對(duì)于其他搜索引擎，搜狗和360搜索引擎蜘蛛訪問頻率較低，而且比較集中。

一、百度搜索引擎蜘蛛訪問頻率高、深度低、比較喜歡爬行tag相關(guān)頁(yè)面

百度搜索引擎蜘蛛訪問網(wǎng)站的頻率非常的高，機(jī)會(huì)一天當(dāng)中都要訪問幾十次，但是每次爬行的深度很低，從下圖網(wǎng)站日志中的截圖可以看出，百度蜘蛛訪問網(wǎng)站的時(shí)候會(huì)直接爬行“/search/search.php?key=”或者“/blog/?tag=”以及“/blog/?feed=rss2&tag=”這三個(gè)URL鏈接，從百度蜘蛛爬行的這三個(gè)URL中分析，可以看出這三種鏈接都是類似于tag的這種標(biāo)簽，也可以看作成網(wǎng)站的一個(gè)綜合搜索功能，從搜索某些關(guān)鍵字來(lái)查看網(wǎng)站是否存在更新。不過(guò)百度蜘蛛也會(huì)直接爬行網(wǎng)站的首頁(yè)或者某些特定的內(nèi)頁(yè)，所爬行的這些內(nèi)頁(yè)也沒有規(guī)律可循，只是看到蜘蛛確實(shí)爬過(guò)這個(gè)頁(yè)面。如圖2所示：

百度搜索引擎蜘蛛爬行日志圖一

百度搜索引擎蜘蛛爬行日志圖2

百度搜索引擎蜘蛛爬行日志圖3

二、谷歌搜索引擎蜘蛛訪問頻率高、深度高、爬行頁(yè)面較多

谷歌搜索引擎蜘蛛訪問頻率應(yīng)該是最高的，這點(diǎn)應(yīng)該和我們網(wǎng)站在谷歌中的權(quán)重---PR值有關(guān)，在《詳細(xì)了解成都網(wǎng)站建設(shè)權(quán)重的真實(shí)含義》介紹過(guò)關(guān)于網(wǎng)站權(quán)重的知識(shí)，通過(guò)分析網(wǎng)站日志，可以看到谷歌蜘蛛在一天當(dāng)中頻繁的訪問網(wǎng)站頁(yè)面，并且訪問網(wǎng)站URL很多，包括百度蜘蛛爬行的那些URL外，還有其他的一些直接性的頁(yè)面，如下圖所示。從這里可以看出谷歌在爬行網(wǎng)站方面確實(shí)比百度要好的多，但是畢竟谷歌不是主流的搜索引擎所以我們只是直到谷歌蜘蛛來(lái)過(guò)就好了，不用太在意它的爬行深度和頻率是怎樣的。

三、360搜索引擎蜘蛛爬行頻率中、深度中、爬行頁(yè)面集中

360搜索引擎蜘蛛在一天當(dāng)中訪問網(wǎng)站是有規(guī)律可循，在網(wǎng)站日志中可以看出360搜索引擎在爬行網(wǎng)站的過(guò)程是非常集中的，而在其他的任何時(shí)段都不會(huì)來(lái)訪問網(wǎng)站，來(lái)的話也是直接爬行特定的幾個(gè)頁(yè)面，比如第一次爬行的是“/wangzhanjianshe/”這個(gè)目錄，那么接下來(lái)所有蜘蛛都會(huì)隨著這個(gè)目錄爬行下去，然而在爬行了幾次發(fā)現(xiàn)沒有新的內(nèi)容之后，就會(huì)離開網(wǎng)站，等第二天再次爬行。

四、搜狗搜索引擎蜘蛛爬行頻率中、深度中、比較喜歡類似blog之類的頁(yè)面

通過(guò)查看網(wǎng)站日志得知，搜狗搜索引擎蜘蛛只爬行了/blog/目錄下的頁(yè)面，而且爬行頻率如同360蜘蛛一樣，都屬于集中型的，在一天中的固定時(shí)刻訪問，而且只是訪問一次。這可以看出搜狗蜘蛛很喜歡網(wǎng)站中的blog。我們網(wǎng)站在搜狗中，搜索“成都網(wǎng)站建設(shè)”第一個(gè)就是我們的，也許是和我們網(wǎng)站中存在blog有關(guān)吧。當(dāng)然在其他搜索引擎中排名也很好，這是一種猜測(cè)，也許和網(wǎng)站內(nèi)容也有很大關(guān)系的。

寫到最后：

不同搜索引擎，爬行頁(yè)面的頻率、深度、時(shí)間都是不同的，我們可以根據(jù)分析網(wǎng)站日志得知自己網(wǎng)站對(duì)于不同蜘蛛的喜歡程度，然后根據(jù)不同的蜘蛛制定不同的優(yōu)化方案。爭(zhēng)取將成都網(wǎng)站建設(shè)公司的關(guān)鍵字在任何搜索引擎上都有一個(gè)好的排名。對(duì)于其他的搜索引擎來(lái)說(shuō)，基本可以忽略不計(jì)，因?yàn)閾?jù)目前各大主流搜索引擎的排名來(lái)看，基本質(zhì)量比較高的網(wǎng)站排名都差不多。

分享文章：成都網(wǎng)站日志說(shuō)明成都網(wǎng)站建設(shè)不同搜索引擎如何爬行網(wǎng)站的
分享網(wǎng)址：http://www.bm7419.com/news5/246705.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供營(yíng)銷型網(wǎng)站建設(shè)、搜索引擎優(yōu)化、網(wǎng)站收錄、企業(yè)網(wǎng)站制作、微信公眾號(hào)、靜態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)