相信很多人都聽(tīng)說(shuō)過(guò)網(wǎng)站robots文件，也有很多人一直在用robots文件，也有很多人只是聽(tīng)說(shuō)過(guò)但是沒(méi)有用robots文件。所以仟億科技小編今天就寫(xiě)一下關(guān)于robots文件的個(gè)人看法。

曾經(jīng)覺(jué)得robots文件對網(wǎng)站的作用不大，直到我膝蓋中了一箭才知道其在網(wǎng)站中的重要性啊。

有一天http://www.nwafulive.cn收錄出了問(wèn)題，仟億科技官網(wǎng)全站采用靜態(tài)頁(yè)面，但是程序還是會(huì )自動(dòng)保留生成動(dòng)態(tài)頁(yè)面，所以有時(shí)候百度會(huì )選擇收錄動(dòng)態(tài)頁(yè)面從而放棄收錄靜態(tài)頁(yè)面。也許有人說(shuō)只要收錄不就好了，管他動(dòng)態(tài)還是靜態(tài)呢。其實(shí)不是這樣的，如果網(wǎng)站中同一篇文章出現兩個(gè)網(wǎng)站，那就屬于重復頁(yè)面，對搜索引擎很不友好。所以在度娘那搜索下什么情況，說(shuō)法不一，但是有一個(gè)說(shuō)是robots文件沒(méi)寫(xiě)好。然后我找了寫(xiě)關(guān)于robots寫(xiě)法的文章，基本了解下，知道了屏蔽搜索引擎爬行的寫(xiě)法。

我用robots屏蔽收錄很多文件夾，只開(kāi)放文章文件和文章目錄文件夾。兩天之后終于有了變化，百度不但不收錄動(dòng)態(tài)頁(yè)面改收錄靜態(tài)頁(yè)面了，而且收錄數量立刻翻倍。從這個(gè)現象可以看出百度放蜘蛛的時(shí)候根據每個(gè)網(wǎng)站的不同會(huì )給不同網(wǎng)站蜘蛛不同的爬行力度，如果網(wǎng)站權重非常高，百度給蜘蛛的爬行力度就很高，這樣就會(huì )收錄很多。如果網(wǎng)站權重相對低，百度給你網(wǎng)站蜘蛛爬行力度就會(huì )偏低一些。但是不管權重高與低，百度給你網(wǎng)站蜘蛛爬行力度是一個(gè)大概定值的，這個(gè)定值你一定要用在刀刃上。盡量屏蔽掉沒(méi)有必要讓百度蜘蛛爬行的文件夾或者頁(yè)面，這樣能夠讓百度蜘蛛更好的爬行其他頁(yè)面。從而可以提高收錄數量。

---