網(wǎng)站優(yōu)化robots.txt的原理與設(shè)置

2023-04-09 分類：網(wǎng)站建設(shè)

做過網(wǎng)站優(yōu)化的朋友都知道，搜索引擎蜘蛛爬行抓取網(wǎng)站時(shí)首先會去訪問根目錄下的robots.txt文件，如果robots文件存在，則會根據(jù)robots文件內(nèi)設(shè)置的規(guī)則進(jìn)行爬行抓取，如果文件不存在則會順著首頁進(jìn)行抓取，那么robots文件的工作原理是什么呢？如何對robots.txt文件進(jìn)行設(shè)置

網(wǎng)站優(yōu)化robots.txt的原理與設(shè)置

一、robots.txt的工作原理

robots.txt是一個純文本的文件，文件的名字必須全部小寫，并且放置在網(wǎng)站的根目錄下面，通過文件中的規(guī)則聲明網(wǎng)站哪些內(nèi)容不想被搜索引擎蜘蛛抓取收錄，或者指定某個搜索引擎不能收錄robots.txt也叫做爬蟲協(xié)議，遵循爬蟲協(xié)議的搜索引擎蜘蛛，都會根據(jù)協(xié)議的內(nèi)容對網(wǎng)站進(jìn)行爬蟲抓取的。

二、robots.txt的設(shè)置

1.User-agent的設(shè)置

在"robots.txt"文件中，如果有多條 User-agent 記錄說明有多個 robot 會受到"robots.txt"的限制，對該文件來說，至少要有一條 User-agent 記錄。如果該項(xiàng)的值設(shè)為*，則對任何 robot均有效，在"robots.txt"文件中，"User-agent:*"這樣的記錄只能有一條。

2.Disallow的設(shè)置

這個值可以是一條完整的路徑，也可以是路徑的非空前綴，以 Disallow 項(xiàng)的值開頭的URL不會被 robot 訪問。

3.Allow的設(shè)置

與 Disallow 項(xiàng)相似，這個值可以是一條完整的路徑，也可以是路徑的前綴，以 Allow項(xiàng)的值開頭的 URL是允許robot訪問的。

合理的運(yùn)用robots.txt文件對網(wǎng)站優(yōu)化能起到很大的作用，比如當(dāng)網(wǎng)站出現(xiàn)死鏈的時(shí)候，可以通過robots.txt文件進(jìn)行屏蔽，這樣就不會影響到網(wǎng)站的排名，另外還可以在robots.txt添加網(wǎng)站地圖URL，能有效的幫助搜索引擎蜘蛛對網(wǎng)站內(nèi)容的爬行抓取。

網(wǎng)頁標(biāo)題：網(wǎng)站優(yōu)化robots.txt的原理與設(shè)置
網(wǎng)站地址：http://aaarwkj.com/news/252593.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)建站、面包屑導(dǎo)航、手機(jī)網(wǎng)站建設(shè)、虛擬主機(jī)、微信公眾號、網(wǎng)站建設(shè)

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容

百度蜘蛛對于網(wǎng)站優(yōu)化有怎樣的抓取規(guī)則 2023-04-09
簡析SEO優(yōu)化秘籍！ 2023-04-09
SEO優(yōu)化技巧之標(biāo)題常常會出現(xiàn)的錯誤 2023-04-09
挖掘搜索引擎無限SEO優(yōu)化方法與排名技巧 2023-04-09
SEO優(yōu)化工作怎么梳理怎么優(yōu)化好一個網(wǎng)站 2023-04-09
如何挖掘網(wǎng)絡(luò)大數(shù)據(jù)價(jià)值，釋放數(shù)據(jù)潛力 2023-04-09
seo項(xiàng)目步驟是怎樣的基本流程又是如何？ 2023-04-09

欧美一级特黄大片做受成人-亚洲成人一区二区电影-激情熟女一区二区三区-日韩专区欧美专区国产专区

網(wǎng)站優(yōu)化robots.txt的原理與設(shè)置