成都網站建設3分鐘帶你快速了解robot文件

假設您以了解一下名詞含義:搜索引擎，spider（搜索引擎蜘蛛），死鏈接，權重，網站排名
何為Robots協(xié)議？
Robots協(xié)議是國際互聯(lián)網界通行的道德規(guī)范，基于以下原則建立：
1、搜索技術應服務于人類，同時尊重信息提供者的意愿，并維護其隱私權；
2、網站有義務保護其使用者的個人信息和隱私不被侵犯。
何為robot文件？
robots.txt是限制搜索引擎spider（或稱為蜘蛛）收錄或爬取您網站內容的一種文件。搜索引擎蜘蛛在網站中第一個訪問的文件就是robot文件，當然，也可以沒有robot文件，不過spider會訪問您的網站的所有頁面。
robot文件有何作用？
屏蔽您網站的死鏈接，限制spider爬取您的網站內容，保護您網站的隱私內容。例如您的后臺目錄，或者存有您個人信息的頁面或目錄。
如果您網站的重復頁面或死鏈接過多，搜索引擎蜘蛛會認為您的網站不行，價值較低，就會降低您網站的權重，網站排名就會下降，如果創(chuàng)建了robot文件并寫入了相應的規(guī)則，那么搜索引擎蜘蛛就不會爬取您限制的頁面，您網站的權重與排名也就不會降低了。
如何構建robot文件
robot文件也沒什么特殊的地方，就是一文本文件（txt）。新建一個文本文件，然后重命名為robots并在此文件中編寫相應的規(guī)則，最后上傳到網站跟目錄就行了，注意一定要放置到跟目錄且文件名一定要小寫，不然就失效了。
如何編寫robot文件規(guī)則？
或許您沒有太多的時間來了解并學會robot文件規(guī)則，那么您可以生成robot文件規(guī)則，當然，您需要一定的英語基礎，并了解特定的名詞。假設您有時間來學習的話，就往下看下面的規(guī)則。
現(xiàn)假設一個robot文件里面規(guī)則有：
User-agent: *
Disallow: /admin/
Disallow: /user/
規(guī)則解讀為：所有的搜索引擎蜘蛛都不允許訪問根目錄的admin目錄與user目錄。
現(xiàn)在你可能就明白了，user-agent:后面輸入的是欲限制搜索引擎蜘蛛的名稱，*為全部限制，baiduspider為限制百度搜索引擎蜘蛛不可以訪問。
disallow:后面追加的是欲限制蜘蛛訪問的目錄名稱。

注意，不管你有多少個disallow，只要有一個后面為空或者只有一個/符號的，就是所以目錄都可以訪問。符號一定是英文符號。

robot文件只是一種規(guī)則，并不是強制約束搜索引擎蜘蛛，需要搜索引擎蜘蛛配合才有用，有些spider會不顧您的robot文件,擅自訪問您的限制頁面。不過，就目前而且，大部分spider是遵守的robots.txt規(guī)則的。

分享題目：成都網站建設3分鐘帶你快速了解robot文件
網頁路徑：http://www.bm7419.com/news1/242551.html

網站建設、網絡推廣公司-創(chuàng)新互聯(lián)，是專注品牌與效果的網站制作，網絡營銷seo公司；服務項目有網站建設等

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)