Robots.txt是什么

Robots.txt是你穿告訴搜索機(jī)器人哪些頁面你會喜歡他們不能夠訪問您的網(wǎng)站的文本（而不是html)文件。Robots.txt是不是強(qiáng)制性的搜索引擎，但是搜索引擎一般遵守他們都問什么不該做。務(wù)必要澄清robots.txt不從防止搜索引擎抓取您的網(wǎng)站（即它是不一的防火墻或密碼保護(hù)的一種）的一種方法，您放置一個robots.txt文件的事實(shí)是有點(diǎn)像把一條注釋"請不要輸入"一個解鎖的門——上如不能防止小偷進(jìn)來，但好人，將不打開門，然后輸入。也就是為什么我們說是否真的有森sitive數(shù)據(jù)，是太依賴robots.txt，以防止被索引，并顯示在搜索結(jié)果的不完善。

robots.txt的位置是非常重要的。它必須是主目錄中，因?yàn)榉駝t用戶代理（搜索引擎)不會能夠找到它——他們不中搜索名為robots.txt的文件的整個站點(diǎn)。相反，他們首先主目錄（如http://mydomain.com/robots.txt）中查找和他們那里找不到它，如果他們只是假定此站點(diǎn)沒有robots.txt文件，因此他們索引他們發(fā)現(xiàn)路上的一切。因此，如果你不穿robots.txt中適當(dāng)?shù)奈恢?，不要驚訝搜索引擎索引了您的整個站點(diǎn)。
概念與結(jié)構(gòu)的robots.txt已發(fā)展了十多年前，如果您有興趣進(jìn)一步了解它，請?jiān)L問http://www.robotstxt.org/或因?yàn)檫@篇文章中，我們會處理只與一個robots.txt文件的最重要的環(huán)節(jié)，您可以轉(zhuǎn)到標(biāo)準(zhǔn)的機(jī)器人排除直。下一步我們會與結(jié)構(gòu)繼續(xù)robots.txt文件。
Robots.txtFile的結(jié)構(gòu)
一個robots.txt的結(jié)構(gòu)是相當(dāng)簡單（和幾乎不能靈活)–它是用戶代理和不允許的文件和目錄的一個無窮列表?；旧希Z法如下所示：
用戶代理:
不允許：
"用戶代理"是搜索引擎的抓取工具和不允許：列出的文件和要從索引中排除的目錄。在"用戶代理："和"不允許："條目，您可以包含注釋行–只是在行的開頭放置，#號：
#所有用戶代理不都允許以查看該/temp目錄。
用戶代理：*
不允許：/temp/
Robots.txtFile的陷阱
當(dāng)你開始做復(fù)雜的文件–即您決定允許不同的用戶代理訪問不同的目錄–可以開始問題，如果你沒有支付費(fèi)用的robots.txt文件陷阱，特別重視。常見的錯誤包括打字錯誤和有沖突的指令。拼寫錯誤的用戶-代理后用戶代理和Disallow，,缺少冒號的目錄包括拼寫錯誤等。打字錯誤可以很難找到，但在某些情況下驗(yàn)證工具的幫助。
更嚴(yán)重的問題是有邏輯錯誤。例如：
用戶代理：*
不允許：/temp/
用戶代理：Googlebot
不允許：/images/
不允許：/temp/
不允許：/cgi-bin/
上面的示例中是一個允許訪問除在/temp站點(diǎn)上的所有內(nèi)容的所有代理的robots.txt從目錄。達(dá)在這里很好，但更高版本在那里是另一個記錄，為Googlebot指定限制性更強(qiáng)的條款。Googlebot開始讀取robots.txt，它會看到所有文件夾除外/temp/并都允許的（包括Googlebot本身）的所有用戶代理。這是足夠的了解，它不會讀到文件和一切除了/temp/-包括/images/和/cgi-bin，會索引/，你認(rèn)為你已經(jīng)告訴它不要Googlebot。你看到一個robots.txt文件結(jié)構(gòu)的簡單但仍嚴(yán)重的錯誤可以方便地進(jìn)行。
用于生成和驗(yàn)證Robots.txt文件工具
記住，你可以有一個robots.txt文件的簡單語法，您可以始終閱讀這一切都是可以的但它是更易于使用驗(yàn)證程序類似這樣：http://tool.motoricerca.info/robots-checker.phtml。這些工具報(bào)告有關(guān)常見的錯誤，如缺少斜杠或冒號，檢測不到的如該會危及你的努力。為例如果您鍵入：
user-agent:*
不允許：/temp/
這是錯誤的因?yàn)橛?用戶"和"代理"之間沒有斜杠和語法不正確。

在這種情況下當(dāng)您有一個復(fù)雜的robots.txt文件–即你給不同的用戶代理的不同指令或您有一長串的目錄和子目錄中排除，編寫文件手動可以一個真正的痛苦。但不用擔(dān)心，——有的工具，將為您生成該文件。什么是更多有允許選擇哪些文件，并點(diǎn)的可視化工具，是要排除的文件夾。即使你不喜歡為robots.txt代買一個圖形化的工具，但在在線工具為您提供幫助。為例服務(wù)器端機(jī)器人發(fā)電機(jī)提供的用戶代理的下拉列表，您可以列出文件的文本框，您不希望建立索引。坦白的說，它不好幫了除非您想要設(shè)置特定的規(guī)則，為不同的搜索引擎，因?yàn)樵谌魏吻闆r下，您鍵入的目錄列表，但不只是什么。

本文由網(wǎng)站制作公司創(chuàng)新互聯(lián)發(fā)布，轉(zhuǎn)載請注明文章出處!

新聞標(biāo)題：Robots.txt是什么
文章分享：http://www.bm7419.com/news6/128156.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、服務(wù)器托管、網(wǎng)站導(dǎo)航、域名注冊、網(wǎng)站建設(shè)、品牌網(wǎng)站設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)