對(duì)于網(wǎng)站的優(yōu)化，我們站長(zhǎng)一定要做到讓搜索引擎蜘蛛多多抓取我們網(wǎng)站的內(nèi)容，才能更好的做好網(wǎng)站的優(yōu)化。這個(gè)時(shí)候我們就要去了解搜索引擎蜘蛛的算法，然后再來(lái)考慮下事先可能會(huì)存在的問(wèn)題。

例如：搜索引擎蜘蛛是否實(shí)現(xiàn)邏輯上的全站抓取、搜索引擎蜘蛛是否可以區(qū)分頁(yè)面重要性、搜索引擎蜘蛛是否可以提取頁(yè)面的關(guān)鍵詞。

一、邏輯上全站爬行

網(wǎng)站結(jié)構(gòu)優(yōu)化：網(wǎng)站物理結(jié)構(gòu)，即基于內(nèi)容聚合的目錄及文件位置決定的結(jié)構(gòu)。目前的主流思維就是網(wǎng)站扁平化設(shè)計(jì)，即平行結(jié)構(gòu)。

鏈接結(jié)構(gòu)優(yōu)化：兩種蜘蛛抓取不到的頁(yè)面：網(wǎng)站本身不希望被收錄的頁(yè)面;沒(méi)有鏈接到達(dá)的頁(yè)面，即孤島頁(yè)面。對(duì)于沒(méi)有被首頁(yè)推薦的頁(yè)面，可以再內(nèi)鏈上補(bǔ)充。合理的內(nèi)鏈就是一個(gè)四通八達(dá)、井然有序的交通系統(tǒng)，蜘蛛就是來(lái)往的車(chē)輛。社會(huì)化、描文本、設(shè)置鏈接入口等。

Domain結(jié)構(gòu)優(yōu)化：主要是二級(jí)域名和二級(jí)目錄的選擇策略。沒(méi)有絕對(duì)的好與不好，就科易網(wǎng)小編來(lái)說(shuō)目前公司網(wǎng)站正在有二級(jí)域名網(wǎng)站結(jié)構(gòu)向二級(jí)目錄轉(zhuǎn)變，只是采取適應(yīng)當(dāng)前科易網(wǎng)發(fā)展的核心：塑造公司品牌。所以根據(jù)自身特點(diǎn)選擇合理的domain策略。

二、重要性的主導(dǎo)

對(duì)于搜索引擎來(lái)說(shuō)，什么樣頁(yè)面會(huì)被認(rèn)為“更重要”?有這么一句話：每個(gè)鏈接都是一個(gè)投票，意思是：頁(yè)面的所有鏈接都是投票。在搜索引擎看來(lái)：獲得更多內(nèi)部投票的網(wǎng)頁(yè)相對(duì)來(lái)說(shuō)更加重要。

三、網(wǎng)頁(yè)的標(biāo)簽：關(guān)鍵詞

搜索引擎在分析頁(yè)面的內(nèi)容是優(yōu)先從TDK入手，即title、description、keyword;之后就是H標(biāo)簽、alt標(biāo)簽;后是TF-IDF ，即詞頻-文件頻率。從三個(gè)的關(guān)聯(lián)度定義頁(yè)面的“標(biāo)簽”，即抓取的時(shí)頁(yè)面的定義的關(guān)鍵詞。