網(wǎng)站制作robots協(xié)議應(yīng)該遵守么？

前些年，網(wǎng)站建設(shè)行業(yè)的程序猿們肯定有聽(tīng)說(shuō)過(guò)robots協(xié)議，而且360與百度兩大搜索引擎關(guān)于“robots”協(xié)議也一直存在爭(zhēng)議，百度這邊呢，指責(zé)360違反商業(yè)道德，不遵守“robots協(xié)議”，而360又認(rèn)為百度利用該協(xié)議作為不正當(dāng)競(jìng)爭(zhēng)的工具，想要壟斷整個(gè)搜索引擎市場(chǎng)。那么究竟robots協(xié)議功能是什么？有什么功能？那就跟隨成都創(chuàng)新互聯(lián)網(wǎng)站建設(shè)公司一起來(lái)了解下吧！

首先，robots協(xié)議全稱是Robots Exclusion Protocol，翻譯過(guò)來(lái)是機(jī)器人排除協(xié)議，又稱為爬蟲(chóng)協(xié)議、機(jī)器人協(xié)議，是指網(wǎng)站所有者通過(guò)一個(gè)置于網(wǎng)站根目錄下的文本文件，即robots.txt，提示搜索引擎的網(wǎng)絡(luò)機(jī)器人哪些網(wǎng)頁(yè)不應(yīng)被抓取，哪些網(wǎng)頁(yè)可以抓取。從本質(zhì)上來(lái)說(shuō)，robots協(xié)議是受訪網(wǎng)站與搜索引擎之間的一種交互方式。

如果把網(wǎng)站比作一個(gè)對(duì)公眾開(kāi)放的博物館，robots協(xié)議就相當(dāng)于在博物館入口處懸掛的提示牌，告知游客哪些區(qū)域不對(duì)游客開(kāi)放，如：“本館三樓301-302室為展品儲(chǔ)藏室、四樓為辦公區(qū)，謝絕參觀”。通常情況下，游客會(huì)根據(jù)提示牌的內(nèi)容，進(jìn)行參觀游覽。提示牌本身沒(méi)有強(qiáng)制力，如果要防止游客擅自闖入不開(kāi)放區(qū)域，最好的辦法是采取一些“技術(shù)措施”，如在辦公區(qū)外設(shè)置欄桿，在儲(chǔ)藏室門(mén)上加鎖等。博物館設(shè)置提示牌的目的是為了便于游客更好的參觀，提示牌的內(nèi)容對(duì)所有游客應(yīng)一視同仁。如果提示牌規(guī)定禁止某一類人參觀，則需要有合理、正當(dāng)?shù)睦碛?，在缺乏合理、正?dāng)理由的情況下，禁止某一類人進(jìn)入一個(gè)對(duì)公眾開(kāi)放的博物館參觀顯然是不合理的。

從《互聯(lián)網(wǎng)搜索引擎自律公約》第七條、第八條的規(guī)定來(lái)看，其包含兩個(gè)層次的含義，一方面從搜索引擎的角度來(lái)說(shuō)，必須遵守受訪網(wǎng)站的robots協(xié)議，不得隨意抓取，另一方面從受訪網(wǎng)站的角度來(lái)說(shuō)，其設(shè)置robots協(xié)議的行為本身應(yīng)當(dāng)具有行業(yè)公認(rèn)合理的正當(dāng)理由，不得利用robots協(xié)議進(jìn)行不正當(dāng)競(jìng)爭(zhēng)行為。

而robots協(xié)議設(shè)置的初衷也正是如此，為了提示搜索引擎的網(wǎng)絡(luò)機(jī)器人更有效的抓取對(duì)網(wǎng)絡(luò)用戶有用的信息，從而更好的促進(jìn)信息共享。但是對(duì)于robots協(xié)議存在的不正當(dāng)競(jìng)爭(zhēng)行為應(yīng)該加以限制，也只有這樣才可以維護(hù)市場(chǎng)環(huán)境的公平競(jìng)爭(zhēng)，從而促進(jìn)互聯(lián)網(wǎng)行業(yè)的發(fā)展。

網(wǎng)站欄目：網(wǎng)站制作robots協(xié)議應(yīng)該遵守么？
本文來(lái)源：http://www.bm7419.com/news/767.html

網(wǎng)站建設(shè)、網(wǎng)絡(luò)推廣公司-創(chuàng)新互聯(lián)，是專注品牌與效果的網(wǎng)站制作，網(wǎng)絡(luò)營(yíng)銷seo公司；服務(wù)項(xiàng)目有網(wǎng)站制作等

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)