網(wǎng)站日志記錄的是搜索引擎對于網(wǎng)站的具體操作，當(dāng)然不僅僅是搜索引擎，確切的說應(yīng)該是所有進(jìn)入網(wǎng)站的用戶對網(wǎng)站進(jìn)行的操作，如登陸頁面、點(diǎn)擊頁面數(shù)量、頁面停留時間等等。通過網(wǎng)絡(luò)日志我們可以清楚的去了解每一個IP在網(wǎng)站上進(jìn)行的操作，可以讓我們更快捷的對網(wǎng)站進(jìn)行全面的了解。

    舉例來說，如果網(wǎng)站被攻擊，我們可以通過網(wǎng)絡(luò)日志來找到來路ip然后通過技術(shù)手段將其屏蔽等等。那下面我們來具體討論的內(nèi)容就是網(wǎng)站日志文件中的所有內(nèi)容，讓數(shù)據(jù)告訴我們蜘蛛進(jìn)入我們的網(wǎng)站還有進(jìn)行的操作來方便我們對SEO方案的下一步實(shí)施做出調(diào)整。下面筆者將向大家介紹日志分析的三個主要方面，第一個是我們可能會從特定站點(diǎn)看到的日志類型，外觀，信息的含義；第二個是如何分析這些數(shù)據(jù)以及如何獲得想要的內(nèi)容；第三個是如何使用它來優(yōu)化我們的頁面和站點(diǎn)。

    一，網(wǎng)絡(luò)日志類型

    日志有三種主要類型，主要是Apache但是我們還將看到W3C，彈性負(fù)載平衡，在諸如Kibana之類的產(chǎn)品中可能會看到很多。但是我們也可能會遇到一些自定義日志文件。因此，對于那些較大的網(wǎng)站，這并不罕見。我知道每個服務(wù)器其實(shí)都有一個自定義的日志文件系統(tǒng)，可以快速是自定義類型設(shè)置。

    我們在這些日志中能看到什么呢？我們希望可以肯定地看到：

1、請求服務(wù)器IP；

2、時間印記，即發(fā)出此請求的日期和時間；

3、所請求的URL，那么他們正在訪問哪個頁面；

4、HTTP狀態(tài)代碼，是否為200，是否已解決，是否為301重定向；

5、用戶代理，因此對于我們的SEO，我們只看這些用戶代理的蜘蛛信息。

    因此，日志文件通常會存儲所有數(shù)據(jù)，個人訪問量和訪問量，但我們要分析搜索引擎蜘蛛的訪問量。有時包括方法獲取/發(fā)布，然后花費(fèi)的時間，客戶端IP和引薦來源網(wǎng)址。從本質(zhì)上講，我們可能會看到該IP，即那個紅色的IP地址，該時間戳，獲取/發(fā)布或者不一定需要在某些方法中使用它。分析最好了解所有這些內(nèi)容，所請求的URL，狀態(tài)代碼以及所有這些內(nèi)容。

    二，網(wǎng)站日志分析

    我們要如何處理這些日志數(shù)據(jù)呢？又要如何來使用它們呢？很多工具非常適合為我們完成一些繁重的工作，筆者經(jīng)常用的是愛站工具里分析網(wǎng)絡(luò)日志，簡單，而且是免費(fèi)的，當(dāng)然也還有其他的很多網(wǎng)站日志分析軟件，我們可以根據(jù)個人的習(xí)慣來選擇，但是我們必須將日志文件設(shè)置為特定類型的格式，以便他們來分析使用。

    如果我們找不到合適的日志分析工具，也不要緊，可以直接手動通過Excel來進(jìn)行分析。我將CSV日志文件導(dǎo)入Excel，使用文本導(dǎo)入向?qū)?，基本上可以分隔出各種的分隔符號。無論是空格，逗號還是引號，我們都可以將其分解，以使它們每個都位于各自的列中且不會擔(dān)心會有多余的空白列。我們只需要創(chuàng)建數(shù)據(jù)透視表即可，可以鏈接到有關(guān)如何輕松實(shí)現(xiàn)此目的的資源。

    熱門頁面，從本質(zhì)上講，我們可以在Excel中看到的是按頻率顯示，搜素引擎蜘蛛排名最高的頁面是什么？根據(jù)請求的次數(shù)，這些首頁是多少？

    熱門文件夾，我們還可以查看頂部的文件夾請求，最重要的是我們還可以查看以下內(nèi)容：哪些最常見的蜘蛛類型影響了我們的網(wǎng)站？是Googlebot-Mobile嗎？是Baiduspider-image嗎？他們在尋找正確的資源嗎？這些都是很重要的信息數(shù)據(jù)。我們也可以使用狀態(tài)碼創(chuàng)建數(shù)據(jù)透視表，然后進(jìn)行查看。我們現(xiàn)在可以洞悉以下內(nèi)容：首頁中的某些頁面是如何解析的？頂部的文件夾是什么樣的？

    以谷歌為例，我們可以針對Googlebot IP進(jìn)行此操作。這是我在日志文件分析中發(fā)現(xiàn)的不錯的方式，將Googlebot IP創(chuàng)建一個數(shù)據(jù)透視表，通常會得到有時是一堆，但我會得到所有獨(dú)特的，而且我可以在大多數(shù)標(biāo)準(zhǔn)計算機(jī)上的計算機(jī)上運(yùn)行終端。我們要做的就是輸入“主機(jī)”，然后輸入該IP地址。我們可以使用此IP地址在網(wǎng)站的終端上執(zhí)行此操作，然后它將作為Google.com解析。這證明它確實(shí)是Googlebot，而不是其他一些欺騙Google的爬蟲。因此，這些工具往往會自動處理這些問題，但是也有一些方法可以手動完成。

    三，優(yōu)化頁面并抓取預(yù)算

    我們?nèi)绾蝺?yōu)化這些日志數(shù)據(jù)并真正開始增加我們的抓取預(yù)算呢？所謂抓取預(yù)算主要是指直至進(jìn)入我們的網(wǎng)站的次數(shù)以及它們通常抓取的頁面數(shù)。搜尋預(yù)算是什么樣子，又如何來提高效率呢？

    1、服務(wù)器錯誤意識：服務(wù)器錯誤意識是非常重要的，最好留意某些頁面上500個錯誤的增加。

    2、404s：蜘蛛找到的所有400頁面，這一點(diǎn)非常重要。400請求是有效的400嗎？該頁面是否存在？還是它應(yīng)該存在但不再存在的頁面，而我們可以修復(fù)。如果哪里有錯誤或不應(yīng)該在那里，引薦來源是什么？蜘蛛是如何發(fā)現(xiàn)這一點(diǎn)的？我們?nèi)绾伍_始清理其中的某些東西？

    3、隔離301s并修復(fù)常見的301鏈：301s在日志文件中有很多關(guān)于301s的問題。我們發(fā)現(xiàn)最好的方法就是隔離并修復(fù)最常見的301鏈。因此，我們可以在數(shù)據(jù)透視表中執(zhí)行此操作。當(dāng)我們將其與爬網(wǎng)數(shù)據(jù)進(jìn)行配對時，這樣做實(shí)際上要容易得多，因?yàn)楝F(xiàn)在我們對該鏈有了更多了解。我們可以做的是，查看最常見的301，然后查看該鏈?zhǔn)欠裼腥魏魏唵?，快速的修?fù)方法？有什么可以刪除并迅速解決的問題？

    4、移動優(yōu)先：我們可以先關(guān)注移動版蜘蛛。如果我們的網(wǎng)站首先使用移動設(shè)備，則可以對其進(jìn)行挖掘，查看日志并評估其外觀。Googlebot仍然看起來像兼容的Googlebot 2.0。但是，它將在括號之前包含所有移動含義。因此，我確信這些工具可以自動知道這一點(diǎn)。但是，如果我們要手動執(zhí)行某些操作，則最好了解其外觀。

    5、缺失的內(nèi)容：蜘蛛發(fā)現(xiàn)和抓取的內(nèi)容是什么，它們完全丟失了什么？最簡單的方法是與我們的站點(diǎn)地圖進(jìn)行交叉比較，這是一種非常實(shí)用的方法，可以查看可能遺漏的內(nèi)容以及原因以及如何以及可能的情況下如何重新安排站點(diǎn)地圖中的數(shù)據(jù)優(yōu)先級或?qū)⑵浼傻綄?dǎo)航中。

    6、比較點(diǎn)擊率與點(diǎn)擊量：對蜘蛛的點(diǎn)擊頻率與點(diǎn)擊量進(jìn)行比較，這樣的操作讓我們不僅可以看到潛在的相關(guān)性，而且還可以看到可能要增加爬網(wǎng)流量或在特定的高流量頁面上進(jìn)行爬網(wǎng)的位置。

    7、網(wǎng)址參數(shù)：看看Googlebot是否使用參數(shù)字符串訪問任何網(wǎng)址。我們不要那樣它通常只是重復(fù)的內(nèi)容或者可以在Google Search Console中通過參數(shù)部分分配的內(nèi)容。

    8、評估天，周，月：我們可以評估網(wǎng)站的天，周和月。每周都會有高峰嗎？每月都有峰值嗎？

    9、評估速度和外部資源：我們可以評估請求的速度，以及是否有潛在的外部資源可以清理并加快爬網(wǎng)速度。

    10、優(yōu)化導(dǎo)航和內(nèi)部鏈接：根據(jù)SEO系統(tǒng)學(xué)習(xí)中的方式來優(yōu)化導(dǎo)航并使用操作來優(yōu)化索引。

    11、元noindex和robots.txt不允許使用：如果我們不想在索引中包含某些內(nèi)容并且不想從robots.txt中進(jìn)行檢索，則可以添加所有這些內(nèi)容并開始也可以幫助解決這些問題。

    四，重新評估

    最后，將爬網(wǎng)數(shù)據(jù)與其中的某些數(shù)據(jù)連接確實(shí)很有幫助。如果我們使用的是類似Screaming Frog的工具就要知道它們允許與不同的服務(wù)器日志文件進(jìn)行這些整合分析，從而為我們提供了更多的見解。而我們要做的只是需要重新評估即可。

    (轉(zhuǎn)載請注明轉(zhuǎn)自：www.theclubhubb.com，謝謝!珍惜別人的勞動成果，就是在尊重自己!）