欧美一级特黄大片做受成人-亚洲成人一区二区电影-激情熟女一区二区三区-日韩专区欧美专区国产专区

網(wǎng)站制作robots協(xié)議應該遵守么?

2013-04-26    分類: 網(wǎng)站制作

前些年,網(wǎng)站建設行業(yè)的程序猿們肯定有聽說過robots協(xié)議,而且360與百度兩大搜索引擎關于“robots”協(xié)議也一直存在爭議,百度這邊呢,指責360違反商業(yè)道德,不遵守“robots協(xié)議”,而360又認為百度利用該協(xié)議作為不正當競爭的工具,想要壟斷整個搜索引擎市場。那么究竟robots協(xié)議功能是什么?有什么功能?那就跟隨成都創(chuàng)新互聯(lián)網(wǎng)站建設公司一起來了解下吧!

首先,robots協(xié)議全稱是Robots Exclusion Protocol,翻譯過來是機器人排除協(xié)議,又稱為爬蟲協(xié)議、機器人協(xié)議,是指網(wǎng)站所有者通過一個置于網(wǎng)站根目錄下的文本文件,即robots.txt,提示搜索引擎的網(wǎng)絡機器人哪些網(wǎng)頁不應被抓取,哪些網(wǎng)頁可以抓取。從本質(zhì)上來說,robots協(xié)議是受訪網(wǎng)站與搜索引擎之間的一種交互方式。

網(wǎng)站制作

如果把網(wǎng)站比作一個對公眾開放的博物館,robots協(xié)議就相當于在博物館入口處懸掛的提示牌,告知游客哪些區(qū)域不對游客開放,如:“本館三樓301-302室為展品儲藏室、四樓為辦公區(qū),謝絕參觀”。通常情況下,游客會根據(jù)提示牌的內(nèi)容,進行參觀游覽。提示牌本身沒有強制力,如果要防止游客擅自闖入不開放區(qū)域,最好的辦法是采取一些“技術措施”,如在辦公區(qū)外設置欄桿,在儲藏室門上加鎖等。博物館設置提示牌的目的是為了便于游客更好的參觀,提示牌的內(nèi)容對所有游客應一視同仁。如果提示牌規(guī)定禁止某一類人參觀,則需要有合理、正當?shù)睦碛?,在缺乏合理、正當理由的情況下,禁止某一類人進入一個對公眾開放的博物館參觀顯然是不合理的。

從《互聯(lián)網(wǎng)搜索引擎自律公約》第七條、第八條的規(guī)定來看,其包含兩個層次的含義,一方面從搜索引擎的角度來說,必須遵守受訪網(wǎng)站的robots協(xié)議,不得隨意抓取,另一方面從受訪網(wǎng)站的角度來說,其設置robots協(xié)議的行為本身應當具有行業(yè)公認合理的正當理由,不得利用robots協(xié)議進行不正當競爭行為。

而robots協(xié)議設置的初衷也正是如此,為了提示搜索引擎的網(wǎng)絡機器人更有效的抓取對網(wǎng)絡用戶有用的信息,從而更好的促進信息共享。但是對于robots協(xié)議存在的不正當競爭行為應該加以限制,也只有這樣才可以維護市場環(huán)境的公平競爭,從而促進互聯(lián)網(wǎng)行業(yè)的發(fā)展。

網(wǎng)站欄目:網(wǎng)站制作robots協(xié)議應該遵守么?
本文來源:http://aaarwkj.com/news/767.html

網(wǎng)站建設、網(wǎng)絡推廣公司-創(chuàng)新互聯(lián),是專注品牌與效果的網(wǎng)站制作,網(wǎng)絡營銷seo公司;服務項目有網(wǎng)站制作

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

成都定制網(wǎng)站網(wǎng)頁設計
欧美日韩一区二区三区四区高清视频 | 中文字幕乱码人妻一区二| 国产一区黄片视频在线观看| 四虎最新地址在线观看| 2020年最新国产三级网站| 中文字幕国产精品一区二| 高清av中文免费在线| 美女爽到高潮久久久| 超碰国产熟女一区二区三区| 午夜最新福利在线视频| 亚洲精品一区二区三区色| 亚乱熟女一区二区三区| 成人激情在线免费电影| 丰满少妇一区二区三区在线观看| 日韩中文字幕一二一二区 | 日本精品视频一区二区三区| 国产亚洲男人av一区三区| 在线国产一区二区不卡| 久久91亚洲精品久久91| 欧美在线日韩一区二区| 丝袜美腿一区二区三区| 国产极品美女高潮抽搐| 日本岛国大片一区二区在线观看| 国产亚洲精品久久久9| 日本中文字幕不卡在线一区二区 | 日韩精品女性三级视频| 国产精品国产三级国av中文| 国产日韩精品一区二区在线| 97视频精品在线播放| av毛片在线播放免费| 日韩欧美国产成人在线观看| 不卡免费av在线高清| 国产一区二区av免费| 欧美乱与老熟妇视频观看| 999热这里只有精品视频| 欧美国产成人精品一区| 国产综合永久精品日韩鬼片 | 日本一区中文字幕欧美| 国产精品黄色片在线观看| 国产高清学生三级一区二区| 亚洲免费麻豆一区二区三区|