seo基礎(chǔ)robots寫(xiě)法及robots高級(jí)玩法

什么是robots?

成都創(chuàng)新互聯(lián)公司主要從事網(wǎng)站建設(shè)、做網(wǎng)站、網(wǎng)頁(yè)設(shè)計(jì)、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)云安,十年網(wǎng)站建設(shè)經(jīng)驗(yàn),價(jià)格優(yōu)惠、服務(wù)專(zhuān)業(yè),歡迎來(lái)電咨詢建站服務(wù):13518219792

robots.txt是搜索引擎中訪問(wèn)網(wǎng)站的時(shí)候要查看的第一個(gè)文件。當(dāng)搜索來(lái)爬行網(wǎng)站時(shí)候，會(huì)先看網(wǎng)站里有沒(méi)有robots這個(gè)文件，如果有這個(gè)文件，會(huì)按照robots文件給的爬行規(guī)則進(jìn)行網(wǎng)站的爬取。
為什么要用robots?
網(wǎng)站為了seo網(wǎng)站優(yōu)化肯定會(huì)有部分頁(yè)面不想被搜索抓取和收錄，如“聯(lián)系我們”“廣告合作”這時(shí)就會(huì)用到robots，來(lái)屏蔽搜索的爬取和收錄。
robots的基本寫(xiě)法
1、允許所有搜索引擎訪問(wèn)
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
注意，可以最直接的建一個(gè)空文件 “robots.txt”然后放到網(wǎng)站的根目錄。
2、禁止所有搜索引擎訪問(wèn)
User-agent: *
Disallow: /
或者
User-agent: *
allow:
3、禁止所有搜索引擎訪問(wèn)網(wǎng)站中的幾個(gè)部分，在這里我用a、b、c目錄來(lái)代替
User-agent: *
Disallow: /a/
Disallow: /b/
Disallow: /c/
如果是允許，則是
Allow: /a/
Allow: /b/
Allow: /c/
4、禁止某個(gè)搜索引擎的訪問(wèn)，我用w來(lái)代替
User-agent: w
Disallow: /
或
User-agent: w
Disallow: /d/*.htm
在Disallow:后面加 /d/*.htm的意思是禁止訪問(wèn)/d/目錄下的所有以”.htm”為后綴的URL，包含子目錄。
5、只允許某個(gè)搜索引擎的訪問(wèn)，我用e來(lái)代替
User-agent: e
Disallow:
在Disallow：后面不加任何東西，意思是僅允許e訪問(wèn)該網(wǎng)站。
6、使用”$”限制訪問(wèn)url
User-agent: *
Allow: .htm$
Disallow: /
意思是僅允許訪問(wèn)以”.htm”為后綴的URL
7、禁止訪問(wèn)網(wǎng)站中所有的動(dòng)態(tài)頁(yè)面
User-agent: *
Disallow: /*?*
8、禁止搜索引擎F抓取網(wǎng)站上所有圖片
User-agent: F
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
意思是只允許引擎抓取網(wǎng)頁(yè)，禁止抓取任何圖片(嚴(yán)格來(lái)說(shuō)，是禁止抓取jpg、jpeg、gif、png、bmp格式的圖片。)
9、只允許搜索引擎E抓取網(wǎng)頁(yè)和.gif格式圖片
User-agent: E
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$
意思是只允許抓取網(wǎng)頁(yè)和gif格式圖片，不允許抓取其他格式圖片
針對(duì)seo的robots高級(jí)寫(xiě)法
頂級(jí)seo高手robots.txt的寫(xiě)法
robots使用時(shí)的注意點(diǎn)
robots.txt必須放置在一個(gè)站點(diǎn)的根目錄下，而且文件名必須全部小寫(xiě)。
針對(duì)新手使用robots
百度站長(zhǎng)平臺(tái)剛升級(jí)了robots
可以檢測(cè)你自己制作的robots規(guī)則是否能生效。當(dāng)然基本的robots寫(xiě)法你要懂，推薦中國(guó)推廣學(xué)院卡卡老師的視頻教程：robots.txt寫(xiě)法
這樣只需掌握robots的基礎(chǔ)寫(xiě)法，就能寫(xiě)出高級(jí)robots。

網(wǎng)站標(biāo)題：seo基礎(chǔ)robots寫(xiě)法及robots高級(jí)玩法
網(wǎng)站網(wǎng)址：http://www.bm7419.com/article34/dghiipe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供軟件開(kāi)發(fā)、微信小程序、虛擬主機(jī)、ChatGPT、網(wǎng)站制作、面包屑導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)