張俊SEO蜘蛛精細(xì)分析爬取網(wǎng)站詳情

如何查看搜索引擎SEO蜘蛛精否來過網(wǎng)站?如何正確識(shí)別搜索引擎SEO蜘蛛精?如何進(jìn)行搜索引擎SEO蜘蛛精的抓取診斷?如何通過搜索引擎SEO蜘蛛精I(xiàn)P得知網(wǎng)站狀態(tài)?是對(duì)網(wǎng)站優(yōu)化推廣診斷最好的途徑。

一、如何查看搜索引擎SEO蜘蛛精是否過來網(wǎng)站
可以通過查看網(wǎng)站日志進(jìn)行分析。Windows服務(wù)器的IIS與Linux服務(wù)器的apache都有記錄網(wǎng)站日志的功能。
二、如何辨別搜索引擎SEO蜘蛛精
1、查看UA
首先要UA正確，百度公布過的UA有如下這些。新增渲染UA。
2、反查IP
可以通過dns反差ip的方法判斷是否是搜索引擎SEO蜘蛛精，只要不是來自“. baidu . com”或“. baidu . jp”即為假冒的百度SEO蜘蛛精。
三、如何診斷搜索引擎SEO蜘蛛精是否能夠正常抓取網(wǎng)站內(nèi)容
張俊SEO認(rèn)為很多網(wǎng)站因使用JavaScript代碼或框架結(jié)構(gòu)等問題，不能被搜索引擎SEO蜘蛛精所抓取。這里進(jìn)行診斷也是為了防止SEO蜘蛛精來網(wǎng)站后，因?yàn)椴荒苷Ｗト《x開，導(dǎo)致網(wǎng)站收錄很差，快照不更新等問題。
如果診斷結(jié)果有問題，則需要修正問題，提升與搜索引擎SEO蜘蛛精的友好度。
百度官方在線抓取診斷工具如下圖所示，選好網(wǎng)站(主頁(yè)或其他頁(yè)面)后，選擇PC UA 或者移動(dòng)UA，最后點(diǎn)擊“抓取”即可。
四、如何通過百度SEO蜘蛛精I(xiàn)P得知網(wǎng)站狀態(tài)。張俊SEO認(rèn)為以下內(nèi)容僅供參考。
1、抓取你網(wǎng)站的網(wǎng)頁(yè)蜘蛛
60.172.229.61
61.129.45.72
61.135.162.*
2、百度競(jìng)價(jià)蜘蛛
61.135.165.134
117.34.74.66
118.122.188.194
119.63.196.9
125.39.78.185
3、百度統(tǒng)計(jì)的蜘蛛
61.135.186.*
4、站長(zhǎng)工具的模仿的百度蜘蛛
61.147.98.146
61.188.39.16
113.98.254.245
117.21.220.245
117.28.255.42
5、搜外站長(zhǎng)工具的模仿的百度蜘蛛
124.248.34.52
6、114站長(zhǎng)工具箱模仿的百度蜘蛛
119.147.114.213
121.10.141.*
7、百度圖片蜘蛛
123.15.**.**
8、抓取網(wǎng)站內(nèi)頁(yè)收錄的權(quán)重較低的非原創(chuàng)，需要通過一段時(shí)間考察
123.125.71.*
9、站長(zhǎng)工具檢測(cè)造成的無用
125.90.88.*
10、百度考察期蜘蛛或降權(quán)蜘蛛
159.226.50.*
180.76.5.*
180.76.5.87
220.181.158.107
11、偽裝百度蜘蛛
180.149.130.*
12、新站及站點(diǎn)有不正?，F(xiàn)象
183.91.40.144
203.208.60.*
13、不間斷巡邏各站就是路過
210.72.225.*
14、沙盒或者有被K站
123.125.68.*
218.30.118.102
220.181.68.*
15、此ip爬過的文章或首頁(yè)，絕對(duì)24小時(shí)內(nèi)放出來和隔夜快照
220.181.108.*
16、百度蜘蛛IP來過，準(zhǔn)備抓取
123.125.66.*
220.181.7.*
17、度過新站考察期
121.14.89.*
18、百度抓取首頁(yè)的專用IP，網(wǎng)站首頁(yè)快照更新快，隔夜更新
220.181.108.95
19、百度的權(quán)重IP段，抓取的文章第二天放出來，權(quán)重較高
220.181.108.92
20、綜合性權(quán)重IP，抓取文章和首頁(yè)，權(quán)重較高
220.181.108.91
220.181.108.75
21、抓取內(nèi)頁(yè)收錄的，但權(quán)重較低
123.125.71.95
123.125.71.97
123.181.108.77
123.125.71.106
22、抓取網(wǎng)站首頁(yè)的，也屬于權(quán)重段，權(quán)重較高。
220.181.108.89
220.181.108.94
220.181.108.97
220.181.108.80
220.181.108.77
220.181.108.83
220.181.108.86
以上就是某個(gè)網(wǎng)站帶來的百度搜索引擎SEO蜘蛛精的分析方法。
SEO優(yōu)化中不可忽視的蜘蛛精陷阱。什么是SEO優(yōu)化蜘蛛精陷阱?搜索引擎SEO蜘蛛精陷阱有著怎樣的危害呢?我們又該如何去避免這些蜘蛛陷阱呢?今日張俊SEO就和大家聊聊關(guān)于如何避免SEO優(yōu)化蜘蛛精陷阱的那些事兒。
什么是SEO蜘蛛精陷阱?
網(wǎng)站設(shè)計(jì)做的對(duì)于搜索引擎來說很不友好，就導(dǎo)致了不利于蜘蛛精的爬行和抓取，其實(shí)這樣就構(gòu)成了一個(gè)蜘蛛陷阱。官方說法，“蜘蛛精陷阱”是阻止蜘蛛精程序爬行網(wǎng)站的障礙物，通常是那些顯示網(wǎng)頁(yè)的技術(shù)方法，目前很多瀏覽器在設(shè)計(jì)的時(shí)候考慮過這些因素，所以可能網(wǎng)頁(yè)界面看起來非常正常，但這些蜘蛛精陷阱會(huì)對(duì)蜘蛛精程序造成障礙，如果消除這些蜘蛛精陷阱，可以使蜘蛛精程序收錄更多的網(wǎng)頁(yè)。SEO工作中，網(wǎng)頁(yè)被收錄是基礎(chǔ)工作，但對(duì)于搜索引擎來講，極少情況會(huì)100%收錄你網(wǎng)站的所有網(wǎng)頁(yè)，搜索引擎的爬蟲程序設(shè)計(jì)的再精巧，也難以逾越所謂的蜘蛛精陷阱。
搜索引擎SEO蜘蛛精陷阱的主要類別
1、登錄要求
2、動(dòng)態(tài)URL
3、強(qiáng)制用Cookies
4、框架結(jié)構(gòu)
5、各種跳轉(zhuǎn)
6、Flash
7、Javascript鏈接
8、Session ID
如何避免搜索引擎SEO蜘蛛精陷阱?
1、采用session id的頁(yè)面，有的銷售類站點(diǎn)為了分析用戶的某些信息會(huì)采用會(huì)話ID來跟蹤用戶，訪問站點(diǎn)的時(shí)候每個(gè)用戶訪問都會(huì)增加一次session id而加入到URL中，同樣蜘蛛的每一次訪問也會(huì)被當(dāng)做為一個(gè)新用戶,每次蜘蛛來訪問的URL中都會(huì)加入一個(gè)session id，這樣就會(huì)產(chǎn)生了同一個(gè)頁(yè)面但URL不同的情況，這種的一來會(huì)產(chǎn)生復(fù)制內(nèi)容頁(yè)面，造成了高度重復(fù)的內(nèi)容頁(yè)，同時(shí)也是最常見的蜘蛛陷阱之一。比如說有的網(wǎng)站的為了提高銷售業(yè)績(jī)，而進(jìn)行彈窗會(huì)話等，比如說您好來自XXX地的朋友等。
2、常識(shí)性的SEO蜘蛛精陷阱，采用強(qiáng)制注冊(cè)或登錄才能訪問的頁(yè)面，這種的對(duì)于SEO蜘蛛精來說就相當(dāng)為難了，因?yàn)镾EO蜘蛛精無法提交注冊(cè)，更無法輸入用戶名和密碼登錄查看內(nèi)容，對(duì)于SEO蜘蛛精來說我們直接點(diǎn)擊查看到的內(nèi)容也是蜘蛛所能看到的內(nèi)容。
3、喜歡采用flash的站點(diǎn)，之所以說是喜歡采用flash的站點(diǎn)是因?yàn)閷?duì)于一些中小型企業(yè)來說，因?yàn)閒lash本身可以做很多種效果，尤其是放在導(dǎo)航上視覺效果強(qiáng)，所以不少企業(yè)站喜歡弄個(gè)flash來展示自己公司的實(shí)力，文化，產(chǎn)品等，甚至一些企業(yè)站點(diǎn)的網(wǎng)站首頁(yè)就是一個(gè)flash，要么是在多長(zhǎng)時(shí)間后通過flash跳轉(zhuǎn)到另外一個(gè)頁(yè)面，要么就是通過flash上的鏈接讓用戶自己點(diǎn)擊后進(jìn)入一個(gè)新的頁(yè)面，但是對(duì)于SEO蜘蛛精來說一來是很難讀取flash中的內(nèi)容，所以SEO蜘蛛精也很難點(diǎn)擊flash上的鏈接。
4、動(dòng)態(tài)URL，在url中加入過多的符號(hào)或者網(wǎng)址參數(shù)等，這種蜘蛛陷阱我在url優(yōu)化中曾經(jīng)有提到，雖然說隨著搜索引擎的的技術(shù)發(fā)展，動(dòng)態(tài)url對(duì)于蜘蛛的抓取已經(jīng)越來越不是問題了，但是從搜索引擎友好度上來講，靜態(tài)哪怕是偽靜態(tài)url相對(duì)來說都比動(dòng)態(tài)url要好，可以看下很多SEO同行對(duì)于url中的處理方式。
5、框架，在早期框架到處被泛濫使用，而現(xiàn)在框架網(wǎng)頁(yè)很多網(wǎng)站已經(jīng)很少使用了，一是因?yàn)楝F(xiàn)在隨著各大CMS系統(tǒng)的開發(fā)問世，網(wǎng)站維護(hù)相對(duì)也越來越簡(jiǎn)單了，早期網(wǎng)站使用框架是因?yàn)閷?duì)網(wǎng)站頁(yè)面的維護(hù)有一定的便利性了，現(xiàn)在已經(jīng)大可不必了，而且不利于搜索引擎收錄也是框架越來越少被使用的原因之一。
6、JS，雖然現(xiàn)在搜索引擎對(duì)于javascript里的鏈接是可以跟蹤甚至在嘗試拆解分析的，但是我們最好不要寄望于搜索引擎自己克服困難，雖然說通過js可以做一些效果不錯(cuò)的導(dǎo)航，但是css同樣可以做到;為了提高網(wǎng)站對(duì)搜索引擎的友好度建議使網(wǎng)頁(yè)能夠更好的SEO蜘蛛精爬行，就盡量不要采用js，當(dāng)然在seo中，js有一個(gè)好處就是站長(zhǎng)不希望被收錄的頁(yè)面或者友情鏈接可以采用js。還有一種方法可以消除JavaScript 蜘蛛程序陷阱。
網(wǎng)站SEO優(yōu)化中幾點(diǎn)吸引蜘蛛精的方法!
一：采用百度官方方法
在百度算法里，在用戶搜索相同標(biāo)題或關(guān)鍵詞的時(shí)候，原創(chuàng)內(nèi)容會(huì)優(yōu)先展示。因此提高文章的原創(chuàng)度，自然是最好的，但是往往我們服務(wù)客戶的網(wǎng)站專業(yè)性質(zhì)很強(qiáng)，而我們的知識(shí)面有限，也只能通過偽原創(chuàng)實(shí)現(xiàn)，但是提升偽原創(chuàng)的質(zhì)量也是可取的。
第二：發(fā)外鏈吸引蜘蛛精的方法
很多站長(zhǎng)發(fā)布外鏈都是添加網(wǎng)站的首頁(yè)網(wǎng)址就OK了，如果你的網(wǎng)站權(quán)重低，更新不頻繁的話，可能蜘蛛精通過鏈接到了你的網(wǎng)站就不再深入去爬行了。方法：可以去各大論壇和博客發(fā)布文章，然后帶上當(dāng)天發(fā)布的文章地址，這種效果還是比較不錯(cuò)的，小伙伴們可以試試。
第三：友情鏈接交換的選擇
友鏈的作用，每個(gè)SEO都知道，它對(duì)于網(wǎng)站的排名有一定的幫助，同時(shí)又是引導(dǎo)蜘蛛在網(wǎng)站之間來回爬行的一種方式，對(duì)于網(wǎng)站的排名和收錄都是非常有利。所以我們要經(jīng)常和一些更新比較頻繁的網(wǎng)站交換鏈接。
第四：站內(nèi)頁(yè)面之間鏈接
不論是文章之間還是欄目和網(wǎng)站首頁(yè)之間，全部要有一個(gè)或者幾個(gè)鏈接的路徑互通，這個(gè)路徑是蜘蛛精在網(wǎng)站上面爬行的一種鏈接，同時(shí)也可以讓用戶點(diǎn)擊的鏈接，對(duì)于網(wǎng)站的收錄，排名和權(quán)重的提高都是比較不錯(cuò)的。

文章名稱：張俊SEO蜘蛛精細(xì)分析爬取網(wǎng)站詳情
新聞來源：http://www.bm7419.com/news6/62506.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)網(wǎng)站制作、響應(yīng)式網(wǎng)站、網(wǎng)站導(dǎo)航、網(wǎng)站收錄、網(wǎng)站維護(hù)、品牌網(wǎng)站設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)