我們?cè)谶M(jìn)行網(wǎng)站優(yōu)化的時(shí)候首先會(huì)通過網(wǎng)站根目錄放置幾個(gè)文件，像robots.txt文件，sitemap.xml文件等等都是為了之后網(wǎng)站優(yōu)化操作時(shí)能夠有比較不錯(cuò)的蜘蛛爬行記錄。同時(shí)，我們也發(fā)現(xiàn)很多站點(diǎn)上是不存在robots文件的，所以很多碰喲開始問了，網(wǎng)站到底需不需要制作robots文件呢？或者說robots文件的存在確實(shí)必須不可嗎？

    首先我們要了解一下什么是robots文件，其實(shí)它也是互聯(lián)網(wǎng)上的一種協(xié)議，我們可以認(rèn)為是爬蟲協(xié)議，是搜索引擎蜘蛛之間的訪問權(quán)限所在，我們認(rèn)識(shí)當(dāng)搜索引擎蜘蛛進(jìn)入網(wǎng)站后它第一個(gè)爬行的文件不是首頁而是robots文件，當(dāng)robots沒有時(shí)它才會(huì)按照網(wǎng)站權(quán)重頁面的比例分布來進(jìn)行探索爬行，所以很多人認(rèn)為這個(gè)文件存在的必要性幾乎為零。但是，如果我們給一個(gè)站的鏈接進(jìn)行了robots，但是百度沖另外的別的站進(jìn)入了你的這個(gè)鏈接依然可以爬行，只有從robots進(jìn)來的 才有可能不去爬行。如果我們對(duì)全站進(jìn)行了拒絕robots百度爬行，那么，一般來說，只有權(quán)重最高的首頁會(huì)被收錄標(biāo)題，但是不會(huì)保存快照，其他頁面不會(huì)保存標(biāo)題，但是偶爾會(huì)因?yàn)槟承﹥?nèi)部頁面的權(quán)重很高，而收錄。

    robots文件，一旦拒絕搜索引擎對(duì)頁面進(jìn)行抓取，就是告訴搜索引擎這個(gè)頁面不予許給予抓取，一般來說也是說不給這個(gè)頁面權(quán)重，一般來說這個(gè)頁面是沒有排名的，但是如果有別的網(wǎng)站可以連接到這個(gè)頁面，那么搜索引擎則依然會(huì)給這個(gè)頁面權(quán)重。多數(shù)情況下，白帽站點(diǎn)我們是建議在站點(diǎn)中制作 robots文件文件的，而如果是灰帽、黑帽用robots為了獲得更快的全站評(píng)分操作就要謹(jǐn)慎使用咯！

     robots文件常見的內(nèi)容有：User-agent: * （允許哪些蜘蛛進(jìn)入，后面加*是說所有蜘蛛）；Disallow: 不允許搜索引擎爬行的頁面；Allow: 定義允許搜索引擎收錄的地址以及Sitemap:（后面的內(nèi)容標(biāo)注的是網(wǎng)站地圖的路徑）。

    其中我們最常用到的就是不允許抓取和sitemap這個(gè)，為的是第一讓搜索引擎不要抓取一些不必要的或者是網(wǎng)站私密性的文件，以免造成網(wǎng)站一些重要信息泄露，尤其是針對(duì)谷歌搜索引擎的robots文件這個(gè)一定要寫明確了，第二個(gè)是為了讓搜索引擎蜘蛛進(jìn)入網(wǎng)站后能夠首先進(jìn)入網(wǎng)站地圖來獲得更多的頁面抓取的可能性，增加網(wǎng)站頁面收錄的幾率。所以筆者小丹說這兩個(gè)是在robots文件中最常用到的標(biāo)識(shí)了。

    上面說到了robots文件中拒絕搜索引擎爬行頁面，這是為什么呢？其實(shí)主要還是為了網(wǎng)站的安全考慮，比如說后臺(tái)頁面后者用戶注冊(cè)會(huì)員頁面，有可能也會(huì)形成收錄，會(huì)導(dǎo)致形成收錄，會(huì)導(dǎo)致內(nèi)部資源泄露。再者像后臺(tái)登陸這樣的頁面本身的頁面質(zhì)量度是極差的，如果被收錄了很有可能會(huì)降到網(wǎng)站頁面的整體評(píng)分，得不償失。而robots文件中拒絕了爬行的頁面剩下的頁面就是允許被爬行的，如果我們同時(shí)希望搜索引擎能夠主動(dòng)地爬行某些我們希望的頁面和鏈接，我們可以在這個(gè)文件中，主動(dòng)寫允許爬行的鏈接—Allow:。

     (轉(zhuǎn)載請(qǐng)注明轉(zhuǎn)自：www.theclubhubb.com，謝謝!珍惜別人的勞動(dòng)成果，就是在尊重自己!）