企業(yè)建網(wǎng)站時(shí)如何設(shè)置Robots.txt文件

2022-05-18    分類(lèi)： 網(wǎng)站建設(shè)

做網(wǎng)站的朋友可能都聽(tīng)說(shuō)過(guò)Robots.txt文件，這個(gè)Robots.txt是網(wǎng)站與搜索引擎溝通的一個(gè)重要的渠道，通過(guò)這個(gè)文件，可以告訴搜索引擎自己做的網(wǎng)站那些頁(yè)面可以允許他們收錄，那些不允許他們收錄。那么自己就可以在建網(wǎng)站的時(shí)候，通過(guò)這個(gè)文件和搜索引擎達(dá)成協(xié)議。
Robots.txt文件必須要放在網(wǎng)站根目錄的下面，搜索引擎也會(huì)自動(dòng)地根據(jù)網(wǎng)站域名，自動(dòng)的找到這個(gè)文件來(lái)判斷自己是否可以收錄這個(gè)頁(yè)面。如果自己的網(wǎng)站允許搜索引擎可以收錄自己網(wǎng)站的所有的內(nèi)容，那么就可以不放這個(gè)文件。
要放相關(guān)的文件的話，就要做Robots.txt，那么就要符合相關(guān)的格式，格式內(nèi)容是用一個(gè)記事本命名為Robots.txt。里面寫(xiě)上下面的內(nèi)容。大家可以在建網(wǎng)站的時(shí)候做好之后傳到網(wǎng)站根目錄下。
格式如下：
User-agent:*
這個(gè)指的就是針對(duì)所有的搜索引擎蜘蛛代理
Disallow:/search.html
Disallow是不允許的意思，這一行說(shuō)明的是不允許收錄/search.html這個(gè)文件；
Disallow:/index.php?
這一行說(shuō)的是不允許搜索引擎收錄URL里面包含index.php?的文件；
Disallow:/tempweb/
這一行說(shuō)的是不允許搜索引擎收錄這個(gè)文件夾/tempweb/里面所有的內(nèi)容。
很多建網(wǎng)站的朋友做了這個(gè)文件之后不是很自信，這個(gè)時(shí)候，不妨可以找一些大型的網(wǎng)站，去看看他們的是怎么做的，對(duì)比一下自己的是不是有錯(cuò)誤，自己就會(huì)確信其效果了。
另外需要注意一些符號(hào)是否有錯(cuò)誤，比如大小寫(xiě)空格啊什么的，盡量不要用一些復(fù)雜的參數(shù)；盡量的采用這種比較簡(jiǎn)潔的方式來(lái)屏蔽自己一些不想讓搜索引擎收錄的內(nèi)容。
大家可能聽(tīng)說(shuō)過(guò)一些網(wǎng)站被人惡意的修改Robots.txt文件，本來(lái)排名很好的被修改后，搜索引擎就不收錄了，所以大家在做網(wǎng)站維護(hù)的時(shí)候，有時(shí)候要不斷地檢查下自己的這個(gè)Robots.txt文件。

新聞名稱(chēng)：企業(yè)建網(wǎng)站時(shí)如何設(shè)置Robots.txt文件
標(biāo)題鏈接：http://www.bm7419.com/news31/154781.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供動(dòng)態(tài)網(wǎng)站、關(guān)鍵詞優(yōu)化、營(yíng)銷(xiāo)型網(wǎng)站建設(shè)、做網(wǎng)站、全網(wǎng)營(yíng)銷(xiāo)推廣、電子商務(wù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)

成都做網(wǎng)站