robots文件

2022-06-16    分類： 網站建設

搜索引擎蜘蛛訪問網站時會先看網站根目錄下有沒有一個命名為robots的純文本文件，robots.txt用于指令搜索引擎蜘蛛禁止抓取網站某些內容或者指定允許搜索引擎抓取某些內容，如百度的robots文件位于： www.baidu.com/robots.txt
深圳網站制作認為，只有在需要禁止某些內容時，寫robots.txt才有意義。robots文件不存在或者空文件都默認意味著允許搜索引擎抓取所有內容。有的服務器設置有問題，robots文件不存在時會返回200狀態(tài)碼及一些錯誤信息。而不是404狀態(tài)碼，還有可能會使搜索引擎錯誤解讀robots文件信息，所以建議就算允許抓取所有內容，也要建一個空的robots.txt文件，放在根目錄下。
深圳做網站實踐得出結論，主流搜索引擎都遵守robots文件指令，robots.txt禁止抓取的文件搜索引擎將不再訪問或者不抓取。但要注意，被robots文件禁止抓取的URL還是可能會出現(xiàn)在搜索結果中，只要有導入鏈接指向這個URL，成都建網站認為搜索引擎就知道這個URL的存在，雖然不會抓取頁面內容，但是可能一下幾種形式還是會顯示在搜索結果中：
1.只顯示URL，沒有標題，描述。谷歌通常這么處理。
2.只顯示開放目錄或者雅虎等重要目錄收錄的標題和描述。
3.導入鏈接的錨文字顯示為標題和描述。百度通常這樣處理。
總之，只要想讓URL完全不出現(xiàn)在搜索結果中，需要使用頁面上的meta robots標簽。

網頁名稱：robots文件
轉載來于：http://bm7419.com/news/167759.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供網站設計、網站營銷、品牌網站設計、網站維護、靜態(tài)網站、外貿建站

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)

h5響應式網站建設