百度優(yōu)化 成都建站 到底是怎么抓取到的?

2016-11-15    分類: 網站建設

近在網上看了篇有關百度蜘蛛的爬行代碼的解釋,發(fā)現(xiàn)和現(xiàn)在的爬行有些改變,已至于開始時看我的www.jianzhanzhe.com這個站的日志看不懂是什么意思,經過多次研究終于明白其中,所以今重新整理解釋如下:
做seo的朋友都知道,研究se爬行規(guī)律對于網站優(yōu)化意義重大,特別是對百度蜘蛛Baiduspider的研究。本文解釋一下百度蜘蛛爬行后返回代碼代表的具體含義:
2xx 成功
200 正常;請求已完成。
201 正常;緊接 POST 命令。
202 正常;已接受用于處理,但處理尚未完成。
203 正常;部分信息 ― 返回的信息只是一部分。
204 正常;無響應 ― 已接收請求,但不存在要回送的信息。
3xx 重定向
301 已移動 ― 請求的數(shù)據(jù)具有新的位置且更改是的。
302 已找到 ― 請求的數(shù)據(jù)臨時具有不同 URI。
303 請參閱其它 ― 可在另一 URI 下找到對請求的響應,且應使用 GET 方法檢索此響應。
304 未修改 ― 未按預期修改文檔。
305 使用代理 ― 必須通過位置字段中提供的代理來訪問請求的資源。
306 未使用 ― 不再使用;保留此代碼以便將來使用。
4xx 客戶機中出現(xiàn)的錯誤
400 錯誤請求 ― 請求中有語法問題,或不能滿足請求。
401 未授權 ― 未授權客戶機訪問數(shù)據(jù)。
402 需要付款 ― 表示計費系統(tǒng)已有效。
403 禁止 ― 即使有授權也不需要訪問。
404 找不到 ― 服務器找不到給定的資源;文檔不存在。
407 代理認證請求 ― 客戶機首先必須使用代理認證自身。
410 請求的網頁不存在();
415 介質類型不受支持 ― 服務器拒絕服務請求,因為不支持請求實體的格式。
5xx 服務器中出現(xiàn)的錯誤
500 內部錯誤 ― 因為意外情況,服務器不能完成請求。
501 未執(zhí)行 ― 服務器不支持請求的工具。
502 錯誤網關 ― 服務器接收到來自上游服務器的無效響應。
503 無法獲得服務 ― 由于臨時過載或維護,服務器無法處理請求。
比如說:
2008-05-10 00:28:03 W3SVC818374 222.214.218.36 GET /flash/1622.html - 80 - 221.10.254.26 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0 21089
如果你的域名是www.jianzhanzhe.com,這就意味著百度蜘蛛在2008-05-10 00:28:03 爬過http://www.jianzhanzhe.com/flash/1622.html 這一頁,200 0 0 21089中的200協(xié)議代碼代表了請求已完成也就是它發(fā)現(xiàn)這頁并以入庫了。根據(jù)這個我們可以多查看iis日志,研究蜘蛛爬行的路徑,找出自己網站存在的問題,進而改正。

名稱欄目:百度優(yōu)化 成都建站 到底是怎么抓取到的?
新聞來源:http://www.bm7419.com/news/68708.html

成都網站建設公司_創(chuàng)新互聯(lián),為您提供網站導航用戶體驗、網站改版、外貿網站建設、建站公司、域名注冊

廣告

聲明:本網站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)

成都網站建設