爬行、抓取、索引、收錄,指的都是什么?

2022-07-27    分類: 網(wǎng)站建設(shè)

一位讀者在 是告訴搜索引擎,不要沿著這個鏈接爬行,就當(dāng)這個鏈接不存在。注意,nofollow只是告訴蜘蛛不要爬這個鏈接,沒有說不要抓取鏈接指向的URL,也沒有說不要索引鏈接指向的URL,nofollow既沒禁止抓取,也沒禁止索引。

概念說過后,指出幾個SEO們經(jīng)常弄不明白的情況:

沒有被抓取的頁面是可以被索引的

也就是說,蜘蛛沒有訪問和抓取這個頁面(比如被robots文件禁止抓?。?,這個頁面卻有信息存在索引庫中,用戶搜索時還能看到。

比如,淘寶整個網(wǎng)站用robots文件禁止百度蜘蛛抓取,但沒有用noindex禁止索引(如上面說的,禁止抓取后,就沒辦法禁止索引了,不抓取,就看不到noindex標(biāo)簽了),所以即使百度沒有訪問和抓取淘寶頁面,但淘寶很多頁面是被百度索引的,用戶可以搜到的:

淘寶禁止百度抓取,但沒有禁止索引

百度從網(wǎng)上那么多鏈接知道淘寶首頁的存在,通過鏈接的錨文字也知道這個頁面標(biāo)題大概是淘寶之類的,當(dāng)然更知道百度口碑里的評價數(shù)。所以即使百度蜘蛛沒有抓取淘寶首頁,用戶還是能搜到,并且顯示一些百度知道的信息。

要想百度不能返回淘寶首頁該怎么辦呢?取消robots文件的禁止抓取,頁面上用noindex禁止索引。

被抓取的頁面是可以不被索引的

最常見的就是上面說過的,頁面頭信息使用noindex禁止索引,頁面被抓取,讀到noindex后,不被索引,不會在搜索結(jié)果中返回。老頁面新加noindex也不是馬上刪除索引,還會保留索引一段時間,但不會返回在搜索結(jié)果中。

加了noindex的頁面上的鏈接是可以被跟蹤一段時間的,但時間長了,有noindex的頁面搜索引擎可能就不再抓取和索引了,上面的鏈接也就無效了。

還有可能是因為頁面內(nèi)容是抄襲、轉(zhuǎn)載、低質(zhì)量的,搜索引擎雖然抓取了頁面,索引過程中檢測出這些內(nèi)容問題,被丟棄,沒有被索引。所以頁面沒有被收錄,通常要先檢查原始日志,看看是否被抓取過,如果被抓取過,可能是內(nèi)容質(zhì)量問題,如果根本沒被抓取,建議先看看網(wǎng)站結(jié)構(gòu)是否有問題。

加了nofollow的鏈接目標(biāo)頁面可以被抓取和索引

前面說了,nofollow既不禁止抓取,也不禁止索引。nofollow的作用是告訴蜘蛛不要跟著這個鏈接爬,就當(dāng)這個鏈接不存在,但nofollow只對這個鏈接起作用,對別的鏈接沒作用,這個鏈接加了nofollow,不意味著別的地方就沒有正常的指向這個URL的鏈接,只要別的地方出現(xiàn)了沒加nofollow的鏈接,目標(biāo)URL還是會被發(fā)現(xiàn)、抓取(假設(shè)沒被robotx文件禁止)、索引(假設(shè)沒加noindex )。

上面這些概念和應(yīng)用在SEO中是很重要的,如果還沒看懂,我也不知道該怎么再解釋了,只能建議再多讀幾遍。

分享名稱:爬行、抓取、索引、收錄,指的都是什么?
文章網(wǎng)址:http://www.bm7419.com/news47/182597.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站建設(shè)網(wǎng)站營銷、手機(jī)網(wǎng)站建設(shè)響應(yīng)式網(wǎng)站、外貿(mào)建站、網(wǎng)頁設(shè)計公司

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

成都定制網(wǎng)站建設(shè)