很多時(shí)候我們網(wǎng)站中的一些頁(yè)面不想被搜索引擎收錄，哪些頁(yè)面呢？比如自己網(wǎng)站中內(nèi)部網(wǎng)站，僅供內(nèi)容員工使用的網(wǎng)站功能模塊，這些模塊是我們?cè)?a href="http://aaarwkj.com/" target="_blank">網(wǎng)站建設(shè)的時(shí)候就要做好規(guī)劃的，這部分我們可以使用ROBOTS的方式讓搜索引擎不收錄。

robots.txt正確寫(xiě)法

正如前面提到的，一些頁(yè)面我們不想讓百度和google收錄，那怎么辦？我們可以告訴搜索引擎，和搜索引擎達(dá)成一個(gè)約定，如果我們按約定那樣做了，它們就不要收錄，寫(xiě)一個(gè)robots.txt文件。

這個(gè)寫(xiě)約定的的文件命名為:robots.txt。robots.txt是一個(gè)最簡(jiǎn)單的.txt文件，用以告訴搜索引擎哪些網(wǎng)頁(yè)可以收錄，哪些不允許收錄。

網(wǎng)站建設(shè)時(shí)robots.txt需要注意以下幾點(diǎn)：

如果你的站點(diǎn)對(duì)所有搜索引擎公開(kāi)，則不用做這個(gè)文件或者robots.txt為空就行。文件名字必須命名為：robots.txt，都是小寫(xiě)，并且要注意拼寫(xiě)的正確性，robot后面加"s"。很多網(wǎng)站制作的朋友比較大意，拼寫(xiě)錯(cuò)誤讓工作白做了。

再就是robots.txt必須放置在一個(gè)站點(diǎn)的根目錄下。如：通過(guò)http://www.....cn/robots.txt可以成功訪問(wèn)到，這就說(shuō)明我們的文件的位置放置正確。一般情況下，robots.txt里只寫(xiě)著兩個(gè)函數(shù)：User-agent和Disallow。有幾個(gè)需要禁止，就得有幾個(gè)Disallow函數(shù)，并分行描述。至少要有一個(gè)Disallow函數(shù)，如果都允許收錄，則寫(xiě):Disallow:，如果都不允許收錄，則寫(xiě):Disallow:/（注：只是差一個(gè)斜桿）。

以上是成都網(wǎng)站制作公司總結(jié)出來(lái)的幾個(gè)要點(diǎn)，針對(duì)不允許搜索引擎收錄的處理方式，供大家參考。

本文由成都創(chuàng)新互聯(lián)科技有限公司（aaarwkj.com）原創(chuàng)編輯轉(zhuǎn)載請(qǐng)注明。

當(dāng)前名稱(chēng)：站點(diǎn)頁(yè)面不想被搜索引擎收錄該怎么辦
本文路徑：http://aaarwkj.com/news/120042.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、定制網(wǎng)站、動(dòng)態(tài)網(wǎng)站、企業(yè)網(wǎng)站制作、外貿(mào)建站、網(wǎng)站收錄

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)