網站抓取會遇到的問題及解決方法

當您面對大型網站可能遇到的上千個潛在問題時，您從哪里開始? 這是我們在重建網站抓取時嘗試解決的問題。答案幾乎完全取決于您的網站，并且可能需要對其歷史和目標的深入了解，但至少應該有一個可以概述幫助您減少噪音并開始使用的seo過程。

簡單的操作有時是危險的，為什么?

以前，我們試圖將網站初期的每個問題標記為高，中，低優(yōu)先級。 這種簡單的方法可能是有用的，但我們發(fā)現(xiàn)不能這樣做，你可能會想知道為什么我們離開它。

首先，網站優(yōu)化要素優(yōu)先次序取決于您的意圖。 如果搜索引擎在進行網站抓取的時候，誤解你的意圖可能會導致不好的結果，從混亂到徹底的災難性的。比方說，我們在Moz上聘請了全新的SEOER，發(fā)現(xiàn)網站存在以下問題：

網站同時存在幾乎35,000個NOINDEX標簽?

如果采用搜索引擎優(yōu)化工具趕緊刪除這些標簽，那么網站本身會受到很大的傷害，而不是意識到絕大多數(shù)這些指令是有意的。我們可以讓我們的系統(tǒng)更聰明，但是他們看不懂，所以我們要對虛警報警謹慎。

其次，優(yōu)先考慮的問題并不能幫助您了解這些問題的性質或如何解決這些問題。 我們現(xiàn)在將網站抓取問題分為四種描述類型之一：

歷史數(shù)據(jù)問題

重定向問題

元數(shù)據(jù)問題

內容問題

按類型進行分類可以讓您更具seo技術。 例如，我們新的“重定向”類別中的問題將會有更多的共同點，這意味著它們可能有共同的修復。最終幫助您找到問題只是第一步。 我們希望能夠更好地幫助您解決問題。

1.從嚴重的爬蟲問題開始

這不是說一切都是主觀的。 一些問題阻止抓取工具(不僅僅是我們的，而是搜索引擎)到達你的頁面。我們將這些“關鍵爬蟲問題”分組到我們的第一類，目前包括5XX錯誤，4XX錯誤和重定向到4XX。如果您在5XX錯誤中突然上升，您需要知道，幾乎沒有人有意將其重定向到404。

您會看到整個網站抓取界面中突出顯示嚴重的爬網程序問題：

尋找紅色的警報圖標來快速找到關鍵問題。 首先解決這些問題。 如果無法抓取頁面，那么每個其他抓取工具的問題都是無法解決的,對seo是極為不好的。

2.平衡流行率的問題

在解決您的技術性SEO問題時，我們還必須平衡嚴重性與數(shù)量。 不了解你的網站，我會說404錯誤可能值得在重復的內容之前解決 -但是如果你有十一個404和17,843個重復的頁面呢? 你的優(yōu)先事項突然看起來很不一樣。

我們已經為你做了一些seo數(shù)據(jù)分析，通過問題的普遍程度來加重緊迫性。這需要對優(yōu)先級的一些假設，但如果您的時間有限，我們希望至少為您提供解決幾個關鍵問題的快速起點。

3.解決多頁問題

解決高額問題的另一個優(yōu)點是。 在許多情況下，您可以通過一次修復來解決數(shù)百個(甚至數(shù)千個)頁面上的問題。這是一個更加戰(zhàn)術的方法可以為您節(jié)省大量時間和金錢的地方。

比方說，我想在Moz.com上挖掘916頁，缺少元描述。 我馬上注意到，其中一些頁面是博客文章。 所以，可以通過URL過濾解決網站抓取問題：

我可以很快看到，這些頁面占我缺少描述的392個，高達43%。如果我擔心這個問題，那么可能我可以通過一個相當簡單的CMS頁面解決它，用幾行代碼擦除數(shù)百個問題。

在不久的將來，我們希望為您做一些這樣的分析，但如果過濾不能完成此工作，您還可以將任何問題列表導出到CSV。 然后，轉動和過濾到你的心臟的內容。

4.通過PA和爬行深度潛入頁面

如果您不能輕易找到明確的模式，或者如果您已經解決了一些重大問題，那么下一步呢?一次修復數(shù)千個問題一個URL只是值得的，如果你知道這些URL很重要。

幸運的是，您現(xiàn)在可以按頁面權限(PA)和網站抓取中的抓取深度進行排序。PA是我們自己的排名能力的內部指標(主要由鏈接權重判斷)，爬網深度是頁面與主頁的距離：

在這里，我可以看到我們的MozBar網址中有一個重定向鏈，這是一個非常高權限的頁面。這可能是一個值得修復的問題，即使它不是一個明顯的，更大的組織的一部分。

5.注意網站抓取中出現(xiàn)的突發(fā)問題。

最后，隨著時間的推移，您還需要注意新問題，特別是如果網站抓取問題同一時間大量出現(xiàn)的情況。 這可能表明突然和潛在的破壞性變化。網站抓取現(xiàn)在可以輕松跟蹤新問題，包括警報圖標，圖表和按類別的新問題的快速摘要：

任何爬網都會發(fā)現(xiàn)一些新的頁面(內容機器永遠不會休息)，但是如果您突然看到數(shù)以百計的單一類型的新問題，重要的是迅速挖掘，確定沒有任何問題。在一個好的世界中，SEO團隊總是會知道其他人和團隊對網站的改變，但我們都知道這不是一個好的世界。

當您面對大型網站可能遇到的上千個潛在問題時，您從哪里開始? 這是我們在重建網站抓取時嘗試解決的問題。答案幾乎完全取決于您的網站，并且可能需要對其歷史和目標的深入了解，但我想概述一個可以幫助您減少噪音并開始使用的seo過程。

網頁題目：網站抓取會遇到的問題及解決方法
文章位置：http://www.bm7419.com/news/29663.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供網站內鏈、軟件開發(fā)、App開發(fā)、營銷型網站建設、定制網站、標簽優(yōu)化

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)