網(wǎng)站抓取有哪些問題，怎么解決？

當(dāng)您面對大型網(wǎng)站可能遇到的上千個潛在問題時，您從哪里開始解決，這是我們在重建網(wǎng)站抓取時嘗試解決的問題。答案幾乎完全取決于您的網(wǎng)站，并且可能需要對其歷史和目標(biāo)的深入了解。

簡單的操作有時是危險的，為什么?

以前，我們試圖將網(wǎng)站初期的每個問題標(biāo)記為高，中，低優(yōu)先級。 這種簡單的方法可能是有用的，但我們發(fā)現(xiàn)不能這樣做，你可能會想知道為什么我們離開它。

首先，網(wǎng)站優(yōu)化要素優(yōu)先次序取決于您的意圖。 如果搜索引擎在進行網(wǎng)站抓取的時候，誤解你的意圖可能會導(dǎo)致不好的結(jié)果，從混亂到徹底的災(zāi)難性的。比方說，我們在Moz上聘請了全新的seoER，發(fā)現(xiàn)網(wǎng)站存在以下問題：

一、網(wǎng)站同時存在幾乎35,000個NOINDEX標(biāo)簽

如果采用搜索引擎優(yōu)化工具趕緊刪除這些標(biāo)簽，那么網(wǎng)站本身會受到很大的傷害，而不是意識到絕大多數(shù)這些指令是有意的。我們可以讓我們的系統(tǒng)更聰明，但是他們看不懂，所以我們要對虛警報警謹(jǐn)慎。

二、其次，優(yōu)先考慮的問題并不能幫助您了解這些問題的性質(zhì)或如何解決這些問題。 我們現(xiàn)在將網(wǎng)站抓取問題分為四種描述類型之一：

歷史數(shù)據(jù)問題

重定向問題

元數(shù)據(jù)問題

內(nèi)容問題

三、按類型進行分類可以讓您更具seo技術(shù)。 例如，我們新的“重定向”類別中的問題將會有更多的共同點，這意味著它們可能有共同的修復(fù)。最終幫助您找到問題只是第一步。 我們希望能夠更好地幫助您解決問題。

1.從嚴(yán)重的爬蟲問題開始

這不是說一切都是主觀的。 一些問題阻止抓取工具(不僅僅是我們的，而是搜索引擎)到達你的頁面。我們將這些“關(guān)鍵爬蟲問題”分組到我們的第一類，目前包括5XX錯誤，4XX錯誤和重定向到4XX。如果您在5XX錯誤中突然上升，您需要知道，幾乎沒有人有意將其重定向到404。

您會看到整個網(wǎng)站抓取界面中突出顯示嚴(yán)重的爬網(wǎng)程序問題：

尋找紅色的警報圖標(biāo)來快速找到關(guān)鍵問題。 首先解決這些問題。 如果無法抓取頁面，那么每個其他抓取工具的問題都是無法解決的,對seo是極為不好的。

2.平衡流行率的問題

在解決您的技術(shù)性SEO問題時，我們還必須平衡嚴(yán)重性與數(shù)量。 不了解你的網(wǎng)站，我會說404錯誤可能值得在重復(fù)的內(nèi)容之前解決 -但是如果你有十一個404和17,843個重復(fù)的頁面呢 你的優(yōu)先事項突然看起來很不一樣。

我們已經(jīng)為你做了一些seo數(shù)據(jù)分析，通過問題的普遍程度來加重緊迫性。這需要對優(yōu)先級的一些假設(shè)，但如果您的時間有限，我們希望至少為您提供解決幾個關(guān)鍵問題的快速起點。

3.解決多頁問題

解決高額問題的另一個優(yōu)點是。 在許多情況下，您可以通過一次修復(fù)來解決數(shù)百個(甚至數(shù)千個)頁面上的問題。這是一個更加戰(zhàn)術(shù)的方法可以為您節(jié)省大量時間和金錢的地方。

比方說，我想在Moz.com上挖掘916頁，缺少元描述。 我馬上注意到，其中一些頁面是博客文章。 所以，可以通過URL過濾解決網(wǎng)站抓取問題：

我可以很快看到，這些頁面占我缺少描述的392個，高達43%。如果我擔(dān)心這個問題，那么可能我可以通過一個相當(dāng)簡單的CMS頁面解決它，用幾行代碼擦除數(shù)百個問題。

在不久的將來，我們希望為您做一些這樣的分析，但如果過濾不能完成此工作，您還可以將任何問題列表導(dǎo)出到CSV。 然后，轉(zhuǎn)動和過濾到你的心臟的內(nèi)容。

4.通過PA和爬行深度潛入頁面

如果您不能輕易找到明確的模式，或者如果您已經(jīng)解決了一些重大問題，那么下一步呢一次修復(fù)數(shù)千個問題一個URL只是值得的，如果你知道這些URL很重要。

幸運的是，您現(xiàn)在可以按頁面權(quán)限(PA)和網(wǎng)站抓取中的抓取深度進行排序。PA是我們自己的排名能力的內(nèi)部指標(biāo)(主要由鏈接權(quán)重判斷)，爬網(wǎng)深度是頁面與主頁的距離：

在這里，我可以看到我們的MozBar網(wǎng)址中有一個重定向鏈，這是一個非常高權(quán)限的頁面。這可能是一個值得修復(fù)的問題，即使它不是一個明顯的，更大的組織的一部分。

5.注意網(wǎng)站抓取中出現(xiàn)的突發(fā)問題。

最后，隨著時間的推移，您還需要注意新問題，特別是如果網(wǎng)站抓取問題同一時間大量出現(xiàn)的情況。 這可能表明突然和潛在的破壞性變化。網(wǎng)站抓取現(xiàn)在可以輕松跟蹤新問題，包括警報圖標(biāo)，圖表和按類別的新問題的快速摘要：

任何爬網(wǎng)都會發(fā)現(xiàn)一些新的頁面(內(nèi)容機器永遠不會休息)，但是如果您突然看到數(shù)以百計的單一類型的新問題，重要的是迅速挖掘，確定沒有任何問題。在一個好的世界中，SEO團隊總是會知道其他人和團隊對網(wǎng)站的改變，但我們都知道這不是一個好的世界。

文章標(biāo)題：網(wǎng)站抓取有哪些問題，怎么解決？
文章鏈接：http://www.bm7419.com/news/29665.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站策劃、自適應(yīng)網(wǎng)站、企業(yè)網(wǎng)站制作、標(biāo)簽優(yōu)化、App設(shè)計、網(wǎng)頁設(shè)計公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)