網(wǎng)站收錄之于網(wǎng)站優(yōu)化而言是基礎(chǔ)，多數(shù)情況下我們可以通過(guò)網(wǎng)站收錄的多少就可以基本判斷網(wǎng)站的數(shù)據(jù)情況，這也就是為什么我們會(huì)想盡辦法引蜘蛛進(jìn)行網(wǎng)站爬行來(lái)增加網(wǎng)站收錄。說(shuō)到這里，想必有的朋友看是疑問(wèn)了，我們一直在說(shuō)要引導(dǎo)蜘蛛爬行，那么當(dāng)我們通過(guò)外部鏈接或其他途徑將搜索引擎蜘蛛引入站點(diǎn)后，它們是如何對(duì)網(wǎng)站進(jìn)行爬行抓取的呢？

    其實(shí)，當(dāng)我們利用優(yōu)化操作的一些手法來(lái)引導(dǎo)蜘蛛的時(shí)候，并不是所有的站點(diǎn)都是有效果的，也或者說(shuō)根據(jù)搜索引擎對(duì)每個(gè)站點(diǎn)的信譽(yù)值的不同，能夠獲得的蜘蛛數(shù)據(jù)也是不同的。當(dāng)我們想辦法來(lái)引導(dǎo)蜘蛛的時(shí)候，蜘蛛也會(huì)根據(jù)搜索引擎例如百度，對(duì)該站點(diǎn)每個(gè)頁(yè)面的評(píng)分來(lái)進(jìn)行逐個(gè)的抓取，對(duì)于百度白名單里的站點(diǎn)或是百度權(quán)重高的網(wǎng)站的頁(yè)面就會(huì)有“耐心”的進(jìn)行爬行，篩選來(lái)選擇符合評(píng)分規(guī)則的站點(diǎn)進(jìn)入百度臨時(shí)索引庫(kù)。同時(shí)在抓取這些高權(quán)重站點(diǎn)的網(wǎng)頁(yè)的時(shí)候，如果頁(yè)面中有指向其他頁(yè)面的鏈接也是就相關(guān)內(nèi)鏈的時(shí)候蜘蛛會(huì)開(kāi)展“分身術(shù)”對(duì)這些布局的鏈接一層一層的進(jìn)行頁(yè)面鏈接的爬行。而羅列的布局路徑，同樣的蜘蛛也會(huì)記錄在數(shù)據(jù)庫(kù)中，進(jìn)行第一次，第二次……的爬行，篩選，選擇合適的內(nèi)容進(jìn)行快照展示。

    基本了解了蜘蛛的爬行方式，我們來(lái)繼續(xù)看看蜘蛛針對(duì)頁(yè)面抓取的規(guī)則有哪些呢？其實(shí)對(duì)于搜索引擎蜘蛛而言，網(wǎng)站的評(píng)分如百度權(quán)重，谷歌pr值等這些參考數(shù)據(jù)越高，網(wǎng)站頁(yè)面的信譽(yù)度越高那么對(duì)這些網(wǎng)站的爬行抓取頻率就會(huì)越頻繁。搜索引擎蜘蛛在一個(gè)站點(diǎn)爬行的時(shí)候，一般是先進(jìn)入著陸頁(yè)面通常是網(wǎng)站首頁(yè)，因?yàn)榫W(wǎng)站首頁(yè)的權(quán)重是最高的同時(shí)不論我們是否有意為之，其實(shí)網(wǎng)站大部分的頁(yè)面的鏈接指向都是不約而同指向首頁(yè)的，這也就奠定了蜘蛛爬行的優(yōu)先級(jí)問(wèn)題。然后，通過(guò)網(wǎng)站首頁(yè)中布局的鏈接路徑來(lái)抓取網(wǎng)站的內(nèi)頁(yè)，當(dāng)然也并非所有的內(nèi)容都會(huì)被蜘蛛抓取到。對(duì)于一般企業(yè)站點(diǎn)我們要求網(wǎng)站目錄深度不超過(guò)三層，其意義也是為了便于蜘蛛爬行。因?yàn)槎鄶?shù)情況下，中小型企業(yè)的站點(diǎn)內(nèi)容并不多，三層足夠囊括要展示的內(nèi)容，再者就蜘蛛的常規(guī)計(jì)算來(lái)說(shuō)，一般認(rèn)為超過(guò)三層的內(nèi)容都是不太重要的內(nèi)容，所以基本上減少爬行甚至直接放棄爬行。

    很多時(shí)候我們發(fā)現(xiàn)網(wǎng)站針對(duì)某個(gè)頁(yè)面做了很多外鏈導(dǎo)向，但是該頁(yè)面依然沒(méi)有被收錄，同時(shí)我們并不知道我們所做的引導(dǎo)蜘蛛是否進(jìn)入過(guò)，要怎么辦呢？這個(gè)就設(shè)計(jì)到了我們網(wǎng)站優(yōu)化的另一個(gè)工具了，就是網(wǎng)絡(luò)日志。一般空間服務(wù)商可以為大家提供這個(gè)文件，我們可以通過(guò)這個(gè)文件來(lái)了解網(wǎng)站某一段時(shí)間內(nèi)容的蜘蛛爬行情況。諸如，有哪些搜索引擎的蜘蛛進(jìn)入過(guò)網(wǎng)站，這些蜘蛛瀏覽了網(wǎng)站中的哪些頁(yè)面，是通過(guò)哪些渠道進(jìn)入的，蜘蛛爬行頁(yè)面的具體時(shí)間，抓取頁(yè)面的反饋情況，等等。

    (轉(zhuǎn)載請(qǐng)注明轉(zhuǎn)自：www.theclubhubb.com，謝謝!珍惜別人的勞動(dòng)成果，就是在尊重自己!）