如果我們希望搜索引擎正確抓取和索引我們的網(wǎng)站就需要去使用robots元指令。但如果我們還不熟悉機(jī)器人元標(biāo)記，可能不知道從哪里開始。那下面的內(nèi)容筆者就和大家一起來(lái)了解一下robots元指令來(lái)幫助我們實(shí)現(xiàn)機(jī)器人標(biāo)簽以實(shí)現(xiàn)搜索引擎優(yōu)化（SEO）目的的原因。

    什么是robots元指令？

    robots元指令，也稱為機(jī)器人元標(biāo)記，是一段代碼，可為搜索引擎爬蟲提供有關(guān)如何爬取和索引我們的網(wǎng)站的指導(dǎo)。這些標(biāo)簽對(duì)于確保正確的頁(yè)面被編入索引以出現(xiàn)在搜索結(jié)果中至關(guān)重要。在繼續(xù)之前要提到的一個(gè)重要區(qū)別是robots.txt與robots元指令?？催@兩者時(shí)，它們似乎在做同樣的事情并且在某種程度上他們確實(shí)如此，但有一個(gè)關(guān)鍵的區(qū)別。Robots.txt提供了有關(guān)如何抓取我們網(wǎng)站上的網(wǎng)頁(yè)并將其編入索引的建議。它更多的是對(duì)搜索引擎如何進(jìn)行的建議。另一方面，Robots元指令對(duì)如何抓取和索引我們的網(wǎng)站的說(shuō)明更加明確。要知道的兩種robots元指令，我們可以在頁(yè)面上設(shè)置兩種類型的元指令，用以幫助搜索引擎抓取和索引我們的頁(yè)面。下面我們來(lái)具體介紹一下它們：

    1、元機(jī)器人標(biāo)簽

    我們可以實(shí)施的第一種SEO機(jī)器人標(biāo)簽是元機(jī)器人標(biāo)簽。元機(jī)器人標(biāo)簽可讓我們控制頁(yè)面級(jí)別的索引行為。我們將此代碼實(shí)施到我們網(wǎng)站的標(biāo)題中。代碼可以所示：<元名稱=“機(jī)器人”內(nèi)容=“[參數(shù)]”>使用此標(biāo)簽時(shí)，我們可以在標(biāo)簽中實(shí)現(xiàn)多個(gè)參數(shù)，只要它是針對(duì)同一個(gè)機(jī)器人的，這是在網(wǎng)站上編寫的代碼。

    2、X-機(jī)器人標(biāo)簽

    我們可以創(chuàng)建的第二種robots元指令是x-robots-tag。此標(biāo)記使我們能夠控制頁(yè)面級(jí)別和特定頁(yè)面元素的索引。我們還可以將此標(biāo)記實(shí)施到我們網(wǎng)站的標(biāo)題中。此標(biāo)記的示例所示：標(biāo)頭（“X-Robots-Tag：[參數(shù)]”，true）；總體而言，x-robots-tag比Meta Robots-tag提供了更多的靈活性。

要知道的11種參數(shù)

參數(shù)名稱	描述
全部	索引的快捷方式，關(guān)注
跟隨	爬蟲應(yīng)遵循所有鏈接并將鏈接資產(chǎn)傳遞給頁(yè)面
不關(guān)注	搜索引擎不應(yīng)將任何權(quán)益?zhèn)鬟f給鏈接到的頁(yè)面
指數(shù)	爬蟲應(yīng)該索引頁(yè)面
無(wú)索引	爬蟲不應(yīng)索引頁(yè)面
無(wú)圖像索引	爬蟲不應(yīng)索引頁(yè)面上的任何圖像
最大片段	將最大字符數(shù)設(shè)置為搜索結(jié)果的文本片段
沒有任何	noindex、nofollow的快捷方式
無(wú)緩存	當(dāng)此頁(yè)面出現(xiàn)在搜索結(jié)果中時(shí)，搜索引擎不應(yīng)顯示此頁(yè)面的緩存鏈接
無(wú)片段	搜索引擎不應(yīng)在搜索結(jié)果中顯示頁(yè)面的片段（如元描述）
Unavailable_after	搜索引擎不應(yīng)在設(shè)定日期之后索引頁(yè)面

    當(dāng)我們?cè)O(shè)置robots元指令時(shí)，我們需要在代碼中設(shè)置參數(shù)。這些參數(shù)幫助搜索引擎爬蟲了解如何爬取和索引頁(yè)面。這些是我們?cè)趯?shí)施robots元指令和告訴搜索引擎如何索引我們的網(wǎng)站時(shí)使用的參數(shù)。

    對(duì)robots元指令有一些揮之不去的問題嗎？下面筆者來(lái)解答一些針對(duì)robots元指令的一些常見問題。

    1、每個(gè)搜索引擎都支持所有參數(shù)嗎？

    答：不會(huì)。在我們上面列出的11個(gè)參數(shù)中并非每個(gè)搜索引擎都會(huì)在索引我們的網(wǎng)站時(shí)支持它們。谷歌是唯一能識(shí)別所有共享參數(shù)的網(wǎng)站。否則，它會(huì)因搜索引擎而異。

    2、我們需要同時(shí)使用Meta Robots標(biāo)簽和x-robots標(biāo)簽嗎？

    答：不是。使用這兩種類型的元標(biāo)記是多余的。我們可以選擇最適合我們網(wǎng)站需求的任何一個(gè)。

    3、我們可以在第三方網(wǎng)站上實(shí)施robots元指令嗎？

    答：有這么多企業(yè)使用WordPress等第三方網(wǎng)站來(lái)托管他們的網(wǎng)站，許多人想知道他們是否可以實(shí)施機(jī)器人元標(biāo)記。簡(jiǎn)而言之，是的。許多第三方主機(jī)使我們能夠?qū)崿F(xiàn)站點(diǎn)所需的robots元指令。我們?nèi)绾螌?shí)施它們則會(huì)因站點(diǎn)主機(jī)而異，這里我們可能需要進(jìn)行一些研究，以了解如何在我們選擇的網(wǎng)站構(gòu)建器上為SEO實(shí)施機(jī)器人標(biāo)簽。

    在了解了robots元指令之后，我們可能想知道為什么這個(gè)功能很重要。為什么在我們的網(wǎng)站上實(shí)現(xiàn)此代碼如此重要？我們希望在我們的網(wǎng)站上實(shí)施元標(biāo)記有兩個(gè)重要原因：

    它可以幫助我們控制搜索結(jié)果中的排名：實(shí)施這些標(biāo)簽可以讓我們更好地控制搜索引擎如何抓取和索引我們的頁(yè)面。它最終允許我們引導(dǎo)搜索引擎正確抓取我們最有價(jià)值的頁(yè)面，以便它們可以排名。

    它可以防止價(jià)值不大的頁(yè)面被編入索引：某些頁(yè)面，如管理頁(yè)面等對(duì)我們的業(yè)務(wù)排名沒有什么價(jià)值。通過實(shí)施robots元指令，我們可以防止搜索引擎在這些頁(yè)面上浪費(fèi)抓取預(yù)算。