今天來說一個大家十分熟悉的東西robot文件，相信大家對這個不陌生吧!但是我發(fā)現(xiàn)許多站長同伙們忘掉了這個文件的主要性，而且在設置的時候很隨意。這種理解是錯誤的。我自已在一邊聽課一邊自學，今天碰到了這個問題;隨后,我就咨詢了一位seo的先生，我問他：先生這個robots主要嗎?當時，先生語重心長的對我說了一句;robots既可以成就你的網站;也可以毀掉你的網站。所以嘛，照舊很主要的。

言歸正傳吧!來和大家聊聊robots在我們網站的一些情況;在SEO研究中間有一位和我是比較好的同伙，有一次，他的網站有收錄上千，倏忽一個下戰(zhàn)書收錄為0了。當時他慌了，因為網站收錄沒有了;流量也沒有了，辛辛勞苦的忙了一個多月。到頭來卻發(fā)現(xiàn);竹籃子打水一場空。當時他心灰意冷;就跑到群里聊天，到處去問;我網站被k了，求解決方法啊!心急如焚，然后，有許多人幫他忙;檢查原因，經過一段很長的時間檢查，大家發(fā)現(xiàn)了原因是他的網站robots屏蔽了百度蜘蛛抓取網站頁面。

為什么會出現(xiàn)這種情況呢?原因在于它在做網站的時候robots是完全屏蔽了百度蜘蛛抓取。大家知道一個事實吧!就是當你寫好了規(guī)則;屏蔽了百度蜘蛛的時候，可以發(fā)現(xiàn)百度照舊會抓取的。道理很簡單，百度不可能做到人一樣智能化。所以你屏蔽蜘蛛他照舊會來抓取的。但是你也別慌啊!等過段時間百度就會把已經抓到的頁面、但是你robots文件中有屏蔽的頁面;他會從索引庫刪除，百度也會有一個發(fā)現(xiàn)的過程;到改正和糾錯的過程。

當時，我就記得他說了一句話，就是為什么會去屏蔽百度蜘蛛?因為網站剛做;而且他本人也學習了seo，所以也聽過seo的先生講過一些這方面的內容，曉暢自已做一個新站可以暫時屏蔽網站蜘蛛;等網站做好了再提交給搜索引擎，并且把robots文件修下，許可百度抓取;可能是他忘掉了，把這關鍵一步給忘掉了。導致他辛勞做的網站和外鏈;被百度刪除了收錄的頁面，那段時間很痛苦;他整個人情緒也是十分低落的。

今天，我通過這個同伙的經歷也是希望大家能夠去正視robots這個問題?很主要，請不要忽視了;順帶自已談談我做的robots的一些經驗，我記得網站在新建的時候。我自已也是沒有注重robots文件這個東西，覺得無所謂啊!然后昨天聽先生講到了這個問題;我自已開始正視了，然后我開始把一些很垃圾的頁面和圖片悉數(shù)給屏蔽了，頁面主要是一些動態(tài)頁面，大家都知道;百度喜好靜態(tài)的;假如你網站是動態(tài);會造成搜索引擎多次抓取，給搜索引擎印象又不友愛。虛耗蜘蛛時間和資源。你說他能對你又好嗎?還有圖片也是一些網上采集的圖片;因為百度把一些原創(chuàng)圖片給抓取了，假如你網站再用;這會導致百度認為你網站是剽竊的和偽原創(chuàng)的。這會導致百度不收錄你的網站。

說了這么多，我個人建議就是希望廣大的站長同伙能夠去正視這個問題!

分享名稱：一個站長的robots.txt痛苦經歷
URL分享：http://aaarwkj.com/news41/279191.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供網站導航、外貿網站建設、云服務器、網站設計公司、小程序開發(fā)、營銷型網站建設

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)