網(wǎng)站優(yōu)化應(yīng)對蜘蛛頁面抓取異常

2020-09-12    分類: 網(wǎng)站建設(shè)

收錄是指網(wǎng)頁被搜索引擎抓取到,然后放到搜索引擎的庫里,等到人們搜索相關(guān)詞匯的時候,可以在搜索結(jié)果頁展示列表看到已經(jīng)收錄的頁面及頁面信息。我們所說的“網(wǎng)頁被收錄”即能在搜索結(jié)果頁看到相關(guān)的頁面。反之,“網(wǎng)頁沒有被收錄”問題就復(fù)雜一些,因為在搜索結(jié)果頁沒有看到對應(yīng)的頁面,并不意味著網(wǎng)頁就沒在搜索引擎的庫里,或者說就沒有被收錄,有可能是網(wǎng)頁針對當(dāng)前的搜索詞匯排名不好,在760個記錄之外,因此沒有得到展示。

收錄涉及網(wǎng)頁被搜索引擎蜘蛛抓取,然后被編入搜索引擎的索引庫,并在前端被用戶搜索到這一系列的過程。對SEO人員或者希望對自己網(wǎng)站進行優(yōu)化的非專業(yè)SEO人員來說,了解頁面是如何被搜索引擎收錄的,了解搜索引擎的收錄原理,都是極有好處的,能幫助你在進行網(wǎng)站SEO的時候盡量遵循收錄的規(guī)律,提高網(wǎng)站被收錄的比例。

搜索引擎在抓取網(wǎng)頁的時候,可能會遇到各種情況,有的頁面抓取成功,有的抓取失敗。怎么顯示一個頁面的實際抓取結(jié)果呢?主要是通過返回碼進行示意,代表抓取成功與否和遇到的問題。比如我們常見的,有時候打開一個頁面,頁面一片空白,上面只顯示404。這里的404就是一種返回碼,代表當(dāng)前抓取的頁面已經(jīng)失效,遇到顯示404的頁面,如果短期內(nèi)搜索,蜘蛛再發(fā)現(xiàn)這個URL,也不會對其進行抓取。

有時候,會返回503,503返回碼代表網(wǎng)站臨時無法訪問,可能是網(wǎng)站服務(wù)器關(guān)閉或者其他臨時措施造成的網(wǎng)頁無法訪問,一般來說,蜘蛛還會繼續(xù)抓取幾次。如果網(wǎng)站恢復(fù)正常,URL仍然被當(dāng)作正常URI。處理,如果服務(wù)器一直處于不可訪問狀態(tài),那么搜索引擎就會將這些URL徹底從庫中刪除,這就要求我們必須維護網(wǎng)站的穩(wěn)定性,盡量避免臨時關(guān)閉的情況發(fā)生。返回碼403是禁止訪問狀態(tài),一般來說,如同503一樣,如被多次訪問仍處于禁止訪問狀態(tài),就會被搜索引擎從庫里面刪除。

在返回碼中,有一類需要格外注意,就是301。301代表永久性移除,當(dāng)前URL被永久性重定向到另外的uRL。一般來說,因為改版等原因,部分URL需要永久被替換為新URL,就必須使用返回碼301進行處理,這樣能把權(quán)重等一并帶過去,避免網(wǎng)站的流量損失。

返回碼301的優(yōu)化寫法如下。

(1)創(chuàng)建一個htaccess.txt文件。

(2)在htaccess.txt里寫好返回碼30l的跳轉(zhuǎn)信息。

假設(shè)舊的URL為abc.com,需要重定向到www.abc.com,需在文件里寫如下信息。

RewriteEngine on

RewriteCond%{http_host}abc.com[NC]

RewriteRule^(.*)$ http://www.abc.com/$1[L,R=301]

(3)將htaccess.txt上傳到FTP,然后將htaccess.txt修改為.htaccess。

需要提醒的是目前htaccess只適用于Linux系統(tǒng),并需要虛擬主機支持,因此,在考慮htaccess文件處理返回碼301的時候,需要查看虛擬主機是否完全支持。

實際上,在重定向的處理上存在多種方式,簡單來說,重定向可以分為http30x重定向、meta refresh重定向和js重定向。另外,大的搜索引擎公司,比如谷歌和百度都確認支持Canonical標(biāo)簽,可以通過制定一個權(quán)威頁面的方式,引導(dǎo)蜘蛛只索引一個權(quán)威頁面,從實際效果上來說,也是一種間接的重定向。在實際抓取過程中,蜘蛛會對各種重定向效果進行識別。

重定向的方法有多種,但是從SEO角度來說,如果是永久跳轉(zhuǎn)的頁面,盡量在采用返回碼301的跳轉(zhuǎn)方式。另外,從

時間結(jié)果來看,百度對Canonical的支持并不如谷歌好,采用Canonical未必能得到如期效果。有些網(wǎng)站通過不同的路徑進入同

一頁面,可能會出現(xiàn)多個URL的情況,當(dāng)面對這種情況時,可能需要一些處理技巧,關(guān)于Canonical的使用技術(shù)可參見本書關(guān)于Canonical的專門講解。

外鏈等因素對搜索的排名是有影響的,那么在抓取環(huán)節(jié)是否也有影響呢?百度在它的抓取政策上有優(yōu)先級的說明,即執(zhí)行包括“深度優(yōu)先遍歷策略、寬度優(yōu)先遍歷策略、PR優(yōu)先策略、反鏈策略、社會化分享指導(dǎo)策略等”。同時,這也說明每個策略各有優(yōu)劣,在實際情況中往往是多種策略結(jié)合使用才能達到最優(yōu)的抓取效果。從這段官方說明里面可以看到PR優(yōu)先策略、反鏈策略、社會化分享等字眼,我們可以認為,百度在實際抓取的時候,其實都考慮了這些因素,只是權(quán)重可能有所不同,因此,盡量提高網(wǎng)頁PR,增加更高質(zhì)量的外鏈,進行高質(zhì)量的社會化分享,對網(wǎng)站的SEO工作是有積極意義的。

另外,針對互聯(lián)網(wǎng)存在的大量“盜版”“采集”的網(wǎng)頁情況,在抓取的過程中,蜘蛛會通過技術(shù)判斷頁面是否已經(jīng)被抓取過,并對URI.不同但是實際內(nèi)容相同的頁面的URL進行歸一化處理,即視作一個URL,。也就是告訴SEO人員,不要通過大量創(chuàng)建頁面的方式來獲得更多的搜索資源,如果頁面很多,但是每個頁面的內(nèi)容重復(fù)性很高,或者僅是uRL中包含無效參數(shù)來實現(xiàn)多個頁面,搜索引擎仍然把這些URI。當(dāng)作一個uRL處理,即網(wǎng)站頁面不是越多越好,通過功利的方式拼湊網(wǎng)頁,大量部署長尾,但是頁面質(zhì)量堪憂,效果會適得其反。如果大量此類頁面被搜索引擎判斷為低質(zhì)量頁面,可能會影響到整站的SEO效果。

蜘蛛在抓取的過程實際是依據(jù)鏈接不斷往下探索的過程,如果鏈接之間出現(xiàn)短路,蜘蛛就無法往前爬了。在真實的網(wǎng)站運營中,我們可以看到很多網(wǎng)頁實際潛藏在網(wǎng)站后端,蜘蛛是無法抓取到的,比如沒有預(yù)留入口鏈接,或者入口鏈接已經(jīng)失效等,這些無法抓取到的內(nèi)容和信息,對于蜘蛛來說就是一個個的孤島,對SEO人員來說就是沒有完全發(fā)揮內(nèi)容的引流作用。同時,因為網(wǎng)絡(luò)環(huán)境或者網(wǎng)站規(guī)范等原因也可能導(dǎo)致蜘蛛無法爬行。

如何解決信息無法被抓取到的問題?幾個可行的辦法如下。

?采用搜索引擎平臺提供的開發(fā)平臺等數(shù)據(jù)上傳通道,可以針對數(shù)據(jù)進行獨立的提交。

?采用Sitemap提交方式。大型網(wǎng)站或者結(jié)構(gòu)比較特殊的網(wǎng)站,沉淀了大量的歷史頁面,這些歷史頁面很多具有SEO的價值,但是蜘蛛無法通過正常的爬行抓取到,針對這些頁面,建立Sitemap文件并提交給百度等搜索引擎是非常必要的。

蜘蛛在爬行網(wǎng)站的時候,會遵循網(wǎng)站的協(xié)議進行抓取,比如哪些網(wǎng)頁可以給搜索引擎抓取,哪些不允許搜索引擎抓取。常見的協(xié)議有HTTP協(xié)議、HTTPS協(xié)議、Robots協(xié)議等。

HTTP協(xié)議規(guī)范了客戶端和服務(wù)器端請求和應(yīng)答的標(biāo)準(zhǔn)??蛻舳艘话闶侵附K端用戶,服務(wù)器端指網(wǎng)站。終端用戶通過瀏覽器、蜘蛛等向服務(wù)器指定端口發(fā)送HTTP請求。發(fā)送HTTP請求會返回對應(yīng)的HTTP Header信息,我們可以看到包括是否成功、服務(wù)器類型、網(wǎng)頁最近更新時間等內(nèi)容。

HTTPS協(xié)議是一種加密協(xié)議,一般用戶安全數(shù)據(jù)的傳輸。HTTPS是在HTTP下增加了SSL層,這類頁面應(yīng)用比較多的是和支付相關(guān)或者內(nèi)部保密信息相關(guān)的網(wǎng)頁。蜘蛛不會自動爬行該類網(wǎng)頁。因此,從SEO角度考慮,在建站的時候,盡量對頁面的性質(zhì)進行區(qū)分,對非保密頁面進行HTTP處理,才能實現(xiàn)網(wǎng)頁的抓取和收錄。

網(wǎng)站題目:網(wǎng)站優(yōu)化應(yīng)對蜘蛛頁面抓取異常
URL鏈接:http://www.bm7419.com/news27/86227.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供靜態(tài)網(wǎng)站、品牌網(wǎng)站建設(shè)、搜索引擎優(yōu)化、響應(yīng)式網(wǎng)站網(wǎng)站導(dǎo)航、用戶體驗

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

外貿(mào)網(wǎng)站建設(shè)